大数据常见运维问题汇总

已于 2022-03-10 17:34:47 修改
阅读量1.8k 收藏 15
点赞数 3
分类专栏： # Hadoop相关 大数据笔记 文章标签： 运维 big data hadoop
于 2021-03-16 20:05:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36816848/article/details/114897825
版权

大数据常见运维问题汇总

其他安装问题：

1.IDEA安装与配置

IntelliJ IDEA使用教程 （总目录篇）_请叫我大师兄-CSDN博客_intellijidea使用教程

2.IntelliJ IDEA 修改maven为阿里云仓库

Idea 修改默认的Maven配置及修改为阿里源_一个爱搞技术的C.的博客-CSDN博客_idea maven 修改源

3.Mysql安装：CentOS7安装MySQL（完整版）_24只羊羊羊-CSDN博客_centos7安装mysql

4.CentOS7配置NAT模式网络详细步骤（亲测版）CentOS7配置NAT模式网络详细步骤（亲测版）_Jackson_mvp的博客-CSDN博客_centos7nat网络配置

5.解决Xshell连接虚拟机很慢：

vi /etc/ssh/sshd_config 把UseDNS yes注释解除,改为UseDNS no

systemctl restart sshd.service

6.进入hive 无法删除 ---会话选修--linux --取消 ANS前的对号，否则字体变颜色

Hive中jline.jar与Hadoop中的jline.jar版本不同，启动hive出错_唤不醒的梦-CSDN博客

大数据运维问题：

hadoop:

1.集群配置好开启环境jps，但是少一个node?

解决办法：

  1. 关闭集群：sbin/stop-all.sh【只在master上操作】
  2. 删除/usr/local/src/hadoop-2.6.1/dfs/name 下面文件 【每个节点操作】
  3. 删除/usr/local/src/hadoop-2.6.1/dfs/data 下面文件 【每个节点操作】
  4. 删除/usr/local/src/hadoop-2.6.1/tmp 下面文件 【每个节点操作】
  5. 删除/usr/local/src/hadoop-2.6.1/logs 下面文件 【每个节点操作】
  6. 重新格式化 hadoop namenode -format  【只在master上操作】
  7. 启动集群：sbin/start-all.sh【只在master上操作】

2.在yarn集群跑spark测试代码看不到结果,hadoop和spark历史进程安装实践.

使用Yarn 作为集群管理器，启动Spark 时，无法再从SparkUI-4040 端口查看相应的信息。只能从Hadoop 的Yarn、历史服务器查看，但是默认是没有开启。

配置历史服务器：

（1）. HDFS 配置

确保你的Hadoop 已经完成配置，并且已经能够正常启动。

下面，在已有的Hadoop 配置上，增加配置。

cd $HADOOP_HOME/etc/hadoop

  • mapred-site.xml文件

<!--Spark Yarn-->

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

  • yarn-site.xml文件

<!--Spark Yarn-->

<!-- 是否开启聚合日志 -->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!-- 配置日志服务器的地址,work节点使用 -->

<property>

<name>yarn.log.server.url</name>

<value>http://master:19888/jobhistory/logs/</value>

</property>

<!-- 配置日志过期时间,单位秒 -->

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>86400</value>

</property>

3.hadoop的文件不能下载以及YARN中Tracking UI不能访问历史日志

解决方法：windows系统不能解析域名所致，把hosts文件hostname复制到windows的hosts中

4.yarn资源被占用

  1. 报内存不足
Container [pid=8468,containerID=container_1594198338753_0001_01_000002] is running 318740992B beyond the 'VIRTUAL' memory limit. Current usage: 111.5 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1594198338753_0001_01_000002 :

解决办法：在 hadoop102 的/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml 文件中增加如下配置，然后分发到 hadoop103、hadoop104 服务器上，并重新启动集群:

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
  1. 注意：如果测试过程中，出现异常可以在 yarn-site.xml 中设置虚拟内存检测为 false分发配置并重启集群
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

Hive:

1.在hive中关于大表执行join时，产生oom的处理建议

Hive中小表与大表关联(join)的性能分析 link→ Hive中小表与大表关联(join)的性能分析_刘健男_新浪博客

2.hive查询显示表头修改：

在hive安装目录下/conf/hive-site.xml配置文件里添加如下:

只添加前面部分,查询会显示tablename.column.name

<property>

<name>hive.resultset.use.unique.column.names</name>

<value>false</value>

</property>

<property>

<name>hive.cli.print.header</name>

<value>true</value>

</property>

3.hive数据倾斜

（1）空值产生的数据倾斜

如日志中，常有信息丢失的问题，例如日志中的user_id,如果取其中的user_id和用户表中的user_id关联，就会遇到数据倾斜的问题

-- user_id 为空的不参与关联操作

select * from log a join users b on a.user_idisnotnulland a.user_id = b.user_id

union all

select * from log a where a.user_id is null

（2）不同的数据类型关联产生数据倾斜

用户表中user_id 字段为 int ，log表中user_id字段类型既有int类型也有string类型。当按照user_id 进行两个表的join操作时，默认的Hash操作进行分配，这样会导致所有String类型的id的记录分配到一个Reducer中

-- 把不同类型的字段同意转换为String类型后 进行关联

select * from users a left outer join logs b on a.user_id = cast(b.user_idas String);

Spark

1.Spark shell启动报错（yarn-client&yarn-cluster）：Yarn application has already ended! It might have been killed or unable to launch...

启动日志，错误信息如下：

"Yarn application has already ended! It might have been killed or unable to launch application master"，这个可是一个异常，打开mr管理页面，http://master:8088/

重点在红框处，2.2g的虚拟内存实际值，超过了2.1g的上限。也就是说虚拟内存超限，contrainer没启动.

解决方案

yarn-site.xml 增加配置：

<!--以下为解决spark-shell 以yarn client模式运行报错问题而增加的配置,估计spark-summit也会有这个问题。2个配置只用配置一个即可解决问题，当然都配置也没问题-->

<!--虚拟内存设置是否生效,若实际虚拟内存大于设置值 ,spark 以client模式运行可能会报错,"Yarn application has already ended! It might have been killed or unable to l"-->

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

<description>Whether virtual memory limits will be enforced for containers</description>

</property>

<!--配置虚拟内存/物理内存的值，默认为2.1,物理内存默认应该是1g，所以虚拟内存是2.1g-->

<property>

<name>yarn.nodemanager.vmem-pmem-ratio</name>

<value>4</value>

<description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>

</property>

修改后，重新启动hadoop，spark-shell. 问题解决

2.spark-submit运行scala代码，出现ClassNotFoundException

首先检查代码jar包路径是否完整，其次在IDEA查看jar包是否存在运行的主类，是则重新打包。

3.spark代码模式与提交命令模式不一样，导致运行出错

注：代码用什么模式，启动命令用什么模式，代码不加local可以用yarn集群模式启动

坑 1 ： scala代码为 setMaster(local) 则用local模式启动 ，要用yarn集群模式启动 会出现错误。

代码中：val userScore = new SparkConf().setMaster("local").setAppName("UserScore")

启动命令：spark-submit --class UserScore sparktest-1.0-SNAPSHOT.jar

坑2： maven install打包jar ，启动--class 后面直接加类名 ，例想启动userwatchlist ，从java目录下开始写，有目录写目录，启动命令直接写 --class base.teacheruserwatchlist + jar包名即可

GoAI
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
大数据运维应用场景面试题汇总及参考答案（持续更新）
大模型大数据攻城狮的专栏
04-18 586
DataOps的核心在于建立一个高效、可靠和可扩展的数据管道，支持数据的采集、存储、处理和分析。DataOps的核心在于建立一个高效、可靠和可扩展的数据管道，支持数据的采集、存储、处理和分析。通过结合DataOps和AIOps，可以实现更加智能和自动化的大数据运维，提高运维效率，降低运维成本，提升系统的稳定性和可靠性。通过结合DataOps和AIOps，可以实现更加智能和自动化的大数据运维，提高运维效率，降低运维成本，提升系统的稳定性和可靠性。通过有效的运维管理，可以确保HDFS的高效运行和数据的安全性。
服务可用性：为什么监控和日志记录很重要？
程序员光剑
07-19 3365
作者：禅与计算机程序设计艺术 随着云计算、微服务等新技术的发展，服务端的架构也在发生变化。传统单体架构已无法满足需求，新的服务架构要求复杂的系统架构，包括服务发现，负载均衡，熔断机制，限流保护，隔离故障等一系列组件的结合来确保服务的高可用，降低故障率。因此，自动化运维工具的引入势必会成为趋势。 而监控和日志记录对于服务可用性和可观察性是至
运维常见问题及解决策略
热门推荐
数通畅联
10-28 1万+
运维工作是项目工作的延续，是公司项目管理系统中的最后一环。接手运维工作也有一段时间了，遇见过各种各样的客户，处理过各种各样的问题。在解决问题的过程中，发现每类项目都会有相似的问题出现，比如安全漏洞问题、后续系统接入的协助问题、产品出现BUG等等，每一类问题都有它对应的解决方式和注意事项。 本文将对运维工作中常见的问题进行分类，并总结常用的解决办法和注意事项，同时为制定运维管理制度提供思路以及解决办法。 1运维工作理解 与一般工作相比，运维工作的特别在于突发性、时间不规律性和紧迫性。 运维工作通常是出
大数据常见问题汇总
weixin_45341014的博客
07-21 642
常见问题汇总
大数据开发套件—调度运维常见问题
weixin_33919941的博客
05-26 377
我们在进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加 大数据开发套件 时遇到的常见问题，供大家参考~ Q. 如果之前提交的任务修改后再次提交，是否会影响当天的任务调度?A. 根据修改的内容来确定是否会影响：如果修改的只是 sql 语句，则不会影响；如果修改自定义参数和调度配置以后重新提交的，都会影响当天的任务调度 。 Q. ...
ZCGL大数据平台日常运维问题与解决方法
weixin_30339457的博客
07-18 168
问题：HBase停止 解决方法：重新启动HBase，如下所示 表层问题：插入和查询HBase速度比较慢 排查一，查看HBase节点状态，发现正常运行： 排查二，查看访问HBase服务的状态，发现服务停止： 依次点击服务实例，查看服务状态 133和135节点上的服务已经停止 134节点上的服务正常运行 深层问题诊断：三个节点中有两个节点的HBase访...
大数据运维一般会遇到哪些经典问题？
最新发布
A2368441218的博客
01-04 619
在处理大规模数据时，可能会出现某些节点处理的数据量远大于其他节点的情况，导致整体处理效率降低。：当Hadoop集群中的NameNode内存不足时，可能会导致其无法正常工作。解决方法包括增加NameNode的内存、优化Hadoop配置等。：在大数据处理过程中，可能会因为各种原因导致数据丢失。解决方法包括定期备份数据、使用HDFS的CheckSum机制等。：在大数据处理过程中，可能会出现性能瓶颈，导致处理速度降低。解决方法包括优化Hadoop配置、使用更高级的硬件设备等。
大数据运维工程师面试题目
焦振清
12-04 8834
当前你们公司使用的Hadoop版本是什么 HDFS常见的数据压缩格式有哪些，介绍其中一种详细的实现方式 HDFS垃圾回收的时间模式是多久，如何修改该时间 HDFS如何生效机架感知，取消机架感知有什么问题 HDFS常见的运维操作有哪些，哪些操作是高危的，如果高危操作出现问题，如何解决 HDFS常见的故障是什么，如何处理，是否可以给出三种预案来防范大部分常见故障 你经历过哪些严重的Hado...
大数据学习路线图、大数据所有技术汇总
11-30
总的来说，大数据学习涵盖了许多层面，从基础的存储和处理，到高级的应用开发和系统运维。深入理解这些知识点，不仅可以帮助初学者规划学习路径，也为有经验的专业人士提供了一个全面的技术汇总。通过不断学习和实践...
HADOOP调优与运维问题汇总
悦分享
08-20 120
在HDFS集群中，Namenode主机上存储了所有的元数据信息，如果此信息丢失，那么整个HDFS上面的数据将不可用，而如果Namenode服务器发生了故障无法启动，解决的方法分为两种情况：如果Namenode做了高可用服务，那么在主Namenode故障后，Namenode服务会自动切换到备用的Namenode上，这个过程是自动的，无需手工介入。新增节点在系统安装完成后，要进行一系列的操作，比如系统基本优化设置，hadoop环境的部署和安装，jdk的安装等等，这些基础工作需要事先完成。
如果云计算是一个容器，大数据就是这个容器里的水
weixin_33877885的博客
08-02 416
云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。 1、云计算与大数据是什么关系? 云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资...
数据中心运维人员常见安全隐患及应对措施
数据中心运维管理
07-17 2181
数据中心运维过程中存在各种危险和有害因素，会伤害运维人员的身体，损害健康，甚至危及生命。数据中心基础设施运维工作量较大，工作场景复杂，涉及高空作业、重物搬运的场景较多、涉及电气操作、管路焊接、空调维护等特种作业，涉及接触具有腐蚀性、易燃易爆的化学试剂，常见伤害如下图，因此需要特别注意人身防护，避免造成人身伤害。本期内容一、尖锐物安全二、人力搬运/负重安全三、机械安全四、电...
大数据运维--生产环境处理问题汇总（持续更新中.......）
lxqyx007的博客
07-23 1924
2019.07.23 需求：内外网大数据平台的kafka增加新的数据源 处理过程： 1、 查看kafka现有的topic 内网命令 /usr/local/kafka/bin/kafka-topics.sh --zookeeper host5:2188/kafka –list 外网命令 kafka-topics --zookeeper master3:2181 –list ps：内网是Apache...
如何回答：你对运维（大数据）工作了解多少？被录用后打算如何展开工作？
广志大兄弟的博客
11-01 5873
错误示例：运维这工作，没出事，谁都想不到有你这号人，啥好事和你都没有关系；一旦出了状况，全公司上上下下都在找你，指责你到底成天在搞什么东西，这话，不好干啊。我被录用后，就好好的工作呗，不调戏前台妹子，不挤兑同室汉子，遵纪守法，领导说啥我就干啥……正确示例：1. 对工作的理解我认为运维工作对于保障全局信息及时发布和网络正常运营有着极其重要的作用，这对我或任何被录用担任这个职位的人来说都是一个不小的考验
大数据原理实战中碰到的错误
huanger8_7的博客
06-21 195
仅供自用 1.在虚拟机上安装虚拟机的x4次，前几次都失败了各种卡顿。 解决方案：一直按最保守的默认选项选可以将错误减到最少 2.在主机的文件拖不到虚拟机 解决方案：安装virtualbox自带的增加的插件，默认安装，调整设置可以将主机 的文件拖放到虚拟机。 3.hadoop集群找不到datenode 解决方案：在slave节点里 4.master虚拟机和slave们配置不一样 解决方案：删除slave们，不要自己重新建虚拟机而是复制粘贴master 5.hadoop 远程permission denied
云计算时代，数据中心运维应该注意哪些问题？
金色的小蜜蜂
08-11 3608
　　云计算时代，数据中心运维应该注意哪些问题？ 　　在云计算时代，IT系统建设越来越成为企业发展至关重要的一环。业务系统，以及支撑业务系统运行的基础设施通常是企业关注的首要目标;然而，保障业务健康运行的背后“功臣”——运维系统同样至关重要，因为每一次IT系统的转型，运维系统和业务保障都是最艰难的部分。在当前企业IT系统向云架构转型的时刻，运维系统再一次面临着新的挑战。所以在数据中心运维的时候，运...
大数据开发之常见错误处理
bigdata
12-16 683
1Linux、Windows 中的换行符不一致 经常使用 Window、Linux 等不同操作系统的开发者，在编写shell脚本的时候，基本都会遇到不同系统，出现换行格式不一致的问题，原因就出在不同的系统，定义了不同的换行符。 解决办法1：用Notepad++编辑器，在编辑栏选择文档格式转换，选择转为Unix(LF),然后开始编写shell脚本，然后复制到Linux,实测有用。 解决办法2： 使用vi/vim修改文件format为unix :set ff=unix 或者：:set...
大数据平台搭建及搭建过程出错解析
林中有神君
03-14 251
1、安装第一台虚拟机 （参照博主文章，连接如下） https://blog.csdn.net/weixin_46457946/article/details/114758813 2、配置网卡 （配置网卡前看看你的ifconfig命令能不能用） 一般来说安装最小化界面是没有安装ifconfig命令的，需要我们手动安装 参考以下文章 https://blog.csdn.net/weixin_46457946/article/details/113730988 配置网卡 修改完后重启网卡 （修改完成） 3
hadoop集群运维碰到的问题汇总
weixin_34319640的博客
12-29 478
1.zookeeper报错 2017-12-1316:47:55,968[myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@975] - Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GoAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值