断电后CDH集群艰难重启之路

已于 2022-04-24 14:52:16 修改
阅读量4k 收藏 2
点赞数
分类专栏： hadoop 文章标签： hadoop cloudera
于 2022-04-12 16:06:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dymkkj/article/details/124119028
版权

1.问题描述

  • 问题原因
    运维在凌晨断电重启服务器后，因未忘记将测试环境集群CDH关闭，
    导致CDH的 server/agent集群，Zookeeper集群，hdfs集群，yarn无法重启，
    监控指标全部消失，症状如下

  • cdh各个节点无状态
    在这里插入图片描述

  • agent启动失败
    在这里插入图片描述

  • zookeeper
    在这里插入图片描述

启动顺序

  • CDH server agent
  • zookeeper集群
  • hdfs集群
  • yarn集群

启动CDH集群

  • 启动问题一 启动server后发现没问题，但是启动server所在的agent时，老是出错，启动后很快退出，查看日志报错如下
    401权限问题

  • 问题分析，应该是agent没有成功启动，导致无法找到CDH parcels包

  • 启动问题二，也是agent启动不起来
    - 报错信息
    在这里插入图片描述
    - 定位 查看cloudera-scm-agent.log日志，发现无日志，折腾了一天，再查看cloudera-scm-agent.out，才发现时自己的添加的代码所致
    - 费了大半天的功夫，发现时自己的在源码中加的代码【为了打印集群指标信息】所致，因为不支持中文，真是坑死了自己，服了，于是去掉添加代码解决
    在这里插入图片描述

解决

  • 方案一，参考statckOverflow的文章，可以对服务器进行重启，但有局限性【对于服务器有其他服务不可重启，发现仍然不能解决问题
  • 方案二，搜索问题，发现agent启动后会有supervisor进程守候，防止其异常退出，进行拉起，查看supervisor进程 发现其启动时间与agent不一致，因此报401错误，根据方法提示将supervisor进程杀死，重启agent，问题成功解决，agent启动
    在这里插入图片描述
  • 最终方案
    - 1. 删除 /data/program/cm-5.13.0/lib/cloudera-scm-agent/下上个agent进程配置文件 cm_guid,[禁止删除uuid，要不CDH会出现多个重复的机器节点]
    在这里插入图片描述
    - 删除上个agent进程的supervisor进程,然后启动agent服务
    在这里插入图片描述

zookeeper

  • 在cdm agent未重启成功时，无法启动zookeeper，报错如下，无法在CDH页面查看日志
    在这里插入图片描述
  • 首先查看zookeeper三个节点的myid，没有问题，可以选举出leader[ zookeeper选举leader流程：
    elction[选举myId最大的为leader】->dicovery可用节点->sync zk元数据 --> broadcast 广播】，也没有问题，根据stackoverflow的一篇文章，删除zookeeper datadir下面的离现在最近的、大小为0的log文件，仍然无法解决问题
  • 后面考虑应该是agent的问题，在CDH agent解决后，重新启动

hdfs

  • 在zookeeper启动后，进行启动hdfs后，因为hdfs根据journal node做了HA，发现HA中 secondaryNameNode的journal node /tmp目录空间不足，查看/tmp挂载位置，对该挂载空间进行清理

journalNode异常

  • 发现journaal node状态异常，报错日志如下
The health test result for JOURNAL_NODE_WEB_METRIC_COLLECTION has become bad: The Cloudera Manager Agent got an unexpected response from this role's web server.

在这里插入图片描述

  • 日志如下：
    在这里插入图片描述
  • 实际原因：当机器断电后，重启导致编辑日志损坏了，无法进行编辑日志处理。
  • 解决：查看secondaryNameNode的journalNode服务政策，决定将secondaryNameNode的journalNode的编辑日志和镜像文件复制到namenode
  • 操作，按顺序关闭yarn，hdfs，zookeeper机器，打包备份namenode journalnode 编辑日志和镜像文件【以备失败替换回】，然后将secondaryNameNode 的编辑日志和镜像文件复制到namenode，并修改这些文件目录的用户和权限, 然后重启zookeeper机器，hdfs机器，yarn集群

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Yarn集群

  • resourcemanger报错如下
    在这里插入图片描述
  • 原因发现是jvm参数设置过小导致，原始设置为1g
  • 修改：调整堆内存大小和JVM参数，修改后的结果如下，设置堆内存为4g,young代内存为1g
    在这里插入图片描述

CDH service monitor 无数据

  • 图表无数据
    在这里插入图片描述

  • 查询时 异常
    在这里插入图片描述

  • 查看日志发现，无法创建CDH相关的分区
    在这里插入图片描述

  • 解决：将cloudera-service-monitor备份，然后进行重启

在这里插入图片描述

parcels包分发后，无法建立软链 [ln -s CDH包 CDH]

问题

当解决了主机和对应磁盘、内存不在同一条记录【CDH->所有主机 主机列表】，发现parcels包分发后，仍然无法
正常启动zookeeper,hdfs

报错信息

zookeeper报错
CDH Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain

hdfs 在zookeeper完全启动后，启动仍然报错:
namenode报错如下，服务停止:  
 RECEIVED SIGNAL 15: SIGTERM

原因

CDH 启动未寻找到对应的hdfs目录，zookeeper目录，导致无法发现类，namenode发启动

解决

  • 修改CDH config.ini,将zookeeper,hdfs，yarn的依赖重新指定到CDH目录
vim /data/program/cm-5.13.0/etc/cloudera-scm-agent/config.ini

[Hadoop]
cdh_hadoop_bin=/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop/bin
cdh_hadoop_home=/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop
cdh_hdfs_home=/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop-hdfs
cdh_hive_home=/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/jar
cdh_httpfs_home=/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/jar
cdh_hue_plugins_home=/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop
cdh_mr2_home=/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop-mapreduce
cdh_yarn_home=/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop-yarn
cdh_zookeeper_home=/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/zookeeper
LD_LIBRARY_PATH=/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
  • 修改/etc/hadoop/conf.cloudera.hdfs/hadoop-env.sh，将hdfs,yarn,zookeeper的依赖重新指定到CDH目录
export HADOOP_CLIENT_OPTS="-Xmx268435456 -Djava.net.preferIPv4Stack=true $HADOOP_CLIENT_OPTS"
export LD_LIBRARY_PATH=/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
  • 修改/etc/hadoop/conf.cloudera.yarn/hadoop-env.sh，将hdfs,yarn,zookeeper的依赖重新指定到CDH目录
#export HADOOP_MAPRED_HOME=$( ([[ ! '/usr/lib/hadoop-mapreduce' =~ CDH_MR2_HOME ]] && echo /usr/lib/hadoop-mapreduce ) || echo ${CDH_MR2_HOME:-/usr/lib/hadoop-mapreduce/}  )
export HADOOP_MAPRED_HOME=/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop-mapreduce
export YARN_OPTS="-Xmx825955249 -Djava.net.preferIPv4Stack=true $YARN_OPTS"
export HADOOP_CLIENT_OPTS="-Djava.net.preferIPv4Stack=true $HADOOP_CLIENT_OPTS"
青山流水在深谷
关注
专栏目录
cdh集群的重启过程
九师兄
10-24 1624
文章目录1. 查看状态 1. 查看状态 [root@cdh-server1 ~]# /opt/third/cm/etc/init.d/cloudera-scm-server status cloudera-scm-server dead but pid file exists 如果出现cloudera-scm-server dead but pid file exists，我们要删除 [ro...
CDH集群重启
善皮之的博客
03-14 1868
重启CDH集群 首先在CDH集群的7180的端口，将cloudera的监控服务和整个集群都停掉，然后切换到命令行中，手动停止cloudera-scm-agent角色和cloudera-scm-server角色 停掉集群 停掉监控的服务 在所有的集群节点上面执行以下命令（以下目录是我这边的环境，请对应自己的安装目录自行修改） cd /opt/cloudera-manager/cm-5.10....
重启CDH服务
YouMe的博客
08-10 3155
找到cm的目录 cd /opt/cm-5.13.2/etc/init.d 查看sever状态 ./cloudera-scm-server status 重启server ./cloudera-scm-server restart 再次查看sever状态 ./cloudera-scm-server status 查看agent状态 ./cloudera-scm-ag...
记一次惊险的CDH6.3.2集群断电后重启的过程
quantam的博客
10-11 296
用navicat打开数据后发现确实在metastore库下是没有CM_VERSION这张表的，但是在scm下有，然后我就自己在metastore库里面建一个一样的，不知道有没有用。终于启动起来了，然后登录http://xxx:7180/cmf/home 去看哪些服务没起的就手动起就完了。当时我记得配数据库的时候是用scm的，不知为啥变成metastore了，现在改回来。查看服务是否启动，显然结果是failed。
使用IDEA工具连接CDH集群里面的hive组件
10-06
完成以上步骤后，你的IDEA项目就配置好了连接CDH集群中Hive组件的能力，可以编写Java程序执行Hive查询，进行大数据分析工作。记得在实际操作时，确保集群的网络安全设置允许从你的开发机器访问，并且配置文件正确...
CDH集群部署.doc
03-21
CDH集群部署方案 本文档描述了在虚拟机上的CDH集群部署方案，该方案用于测试环境，同时也可以作为实际环境部署的指导。该方案采用VMware Workstation Pro 12虚拟机环境，虚拟三台机器，一主两备；主节点4G内存，50G...
CDH集群软件安装手册@20191118.docx
11-18
CDH集群软件安装手册 CDH（Cloudera Distribution of Hadoop）是一种基于Apache Hadoop的商业发行版，旨在提供一个完整的、可扩展的大数据解决方案。 CDH集群软件安装手册是指安装和配置CDH集群的详细指南，本手册...
CDH重启cloudera-scm-agent报错：No socket could be created — ((‘127.0.0.1’, 9001): [Errno 98] Address alre
大模型大数据攻城狮的专栏
08-22 400
这通常意味着另一个进程已经在监听相同的IP地址和端口号，导致。在启动时无法创建HTTP服务器的套接字，原因是地址。
重启CDH的方法以及问题解决
热门推荐
leehbing的博客
11-27 1万+
重启CDH的方法如下： service cloudera-scm-server-db restart service cloudera-scm-server restart service cloudera-scm-agent restart（这个还需要在每个slave上执行） 启动服务cloudera-scm-server时会遇到过一段时间自己挂掉，并
cdh 集群安全启动和关闭
m0_49027804的博客
10-13 1354
每当通知断电的时候，我们都需要手动去关闭集群环境，来电的时候手动开启集群，正确操作就显得尤为重要；
CDH集群
weixin_39517473的博客
09-01 504
CDH对应各种大数据组件版本参考：https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_516.html CloderaManage架构 安装centos7，关闭防火墙 1.关闭SELinux: vi /...
CDH不断自动重启 服务无法正常启用
最新发布
dbbwws的博客
03-08 376
根据具体情况来说，后台一直写入日志，应该是某个模块没有初始化成功 ，那么这个问题具体的原因应该在结尾去找，直接去结尾看最后一个报错。显示有一个什么jetty报错 直接百度这个模块 发现这个是cdh通过web展示的重要模块 ，那么看他给他出的建议和报错。发现不是root用户的权限 chmod 777 这个文件 然后再次重启 完美解决这个问题。他说这个文件没权限 那应该是启动用户的问题 使用ls -l查看权限设置。后台一直在输入日志，且根据日志报错找不到明显的原因。
CDH集群和CM集群安全停止和启动
BlogPan的专栏
08-29 1041
当遇到停电或停电通知情况时一般需要停止CDH集群和CM服务，本文将详细介绍如何安全启停CDH集群和CM服务。
CDH中某一结点任务异常，节点服务重启失败报错：No space left on device
weixin_42151880的博客
12-10 935
cdh运维
CDH集群搭建
xu2618的专栏
06-27 526
参考图文教程http://blog.csdn.net/qq_23660243/article/details/60870527 配置同步时间服务器部分不是很确定 配置网卡 ip add vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 BOOTPROTO=static IPADDR=192.168.190.13 GATEWAY=...
手动安装CDH集群Kerberos全攻略
"这篇文档详述了在CDH集群上手动安装Kerberos服务的步骤，旨在帮助用户避免安装过程中的常见问题。关键词包括Kerberos、CDH、Kerberos与CDH集群、Kerberos安装以及CDH集群安装Kerberos。" 在CDH集群上安装Kerberos...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值