YARN 集群的 Node 节点状态 Unhealthy

Kerberos 相关操作

[root@mater ~]# kadmin.local
Authenticating as principal root/admin@TEST.COM with password.
kadmin.local:  list_requests                                        # 查看命令帮助

kadmin.local: list_principals                                       # 查看用户
kadmin.local: addprinc kuser01                                      # 创建用户
kadmin.local: addprinc -pw kuser01 kuser01                          # 带密码创建用户
kadmin.local: delprinc kuser01                                      # 删除用户
kadmin.local: delprinc -force kuser01                               # 强制删除用户
kadmin.local: xst -k user.keytab user@BLUE.COM                      # 生成keytab文件

用户登录： kinit -kt /root/keytab/user.keytab user

1.故障现象

在TDH管理页面检查yarn服务发现有节点的nodemanager 服务状态异常
在yarn服务节点，发现有Unhealthy Nodes，正常的active nodes数目不对

[root@slzhd-stream03 yarn2]# kinit -kt /etc/yarn2/yarn.keytab    yarn/slzhd-stream03@TDH
[root@slzhd-stream03 yarn2]# yarn node -list -all
Total Nodes:6
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
slzhd-stream04:49381	        RUNNING	slzhd-stream04:8042	                           1
slzhd-nn01:43510	        RUNNING	  slzhd-nn01:8042	                           1
slzhd-stream03:60255	      UNHEALTHY	slzhd-stream03:8042	                           0
slzhd-nn02:52523	        RUNNING	  slzhd-nn02:8042	                           2
slzhd-stream06:46429	        RUNNING	slzhd-stream06:8042	                           1
slzhd-stream05:50346	        RUNNING	slzhd-stream05:8042	                           1
[root@slzhd-stream03 yarn2]# 

查看节点监控状态
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Shs7O9OE-1689812527705)(/media/202307/2023-07-20_081046_4119080.8724264091443784.png)]

2.问题分析

查看resourcemanager，nodemanager的日志均未发现问题
在yarn ui 查看Node节点信息，查看Nodemanager信息，确认 slzhd-stream03 节点信息
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sY4P4EPG-1689812527707)(/media/202307/2023-07-19_173501_1437230.22773761327714037.png)]
发现该节点的健康检查日志的路径与实际不符

3.解决方法

检查 yarn 日志相关配置

• yarn.nodemanager.log-dirs
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RIEsf7dF-1689812527708)(/media/202307/2023-07-20_081324_0138240.9054526401901273.png)]
• yarn.nodemanager.local-dirs
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rwKs3pTm-1689812527711)(/media/202307/2023-07-20_081346_4010850.40760285045153777.png)]

4.解决过程

step 1.创建yarn日志文件夹
step 2.查看节点状态

[root@slzhd-stream03 logs]kinit -kt /etc/yarn2/yarn.keytab    yarn/slzhd-stream03@TDH
[root@slzhd-stream03 logs]# yarn node -list -all
Total Nodes:7
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
slzhd-stream04:49381	        RUNNING	slzhd-stream04:8042	                           1
slzhd-nn01:43510	        RUNNING	  slzhd-nn01:8042	                           1
slzhd-stream03:57844	        RUNNING	slzhd-stream03:8042	                           1
slzhd-nn02:52523	        RUNNING	  slzhd-nn02:8042	                           2
slzhd-stream06:46429	        RUNNING	slzhd-stream06:8042	                           1
slzhd-stream05:50346	        RUNNING	slzhd-stream05:8042	                           1
slzhd-stream03:57975	           LOST	slzhd-stream03:8042	                           0
[root@slzhd-stream03 logs]# 

5.参考文档

重启任务
step 1.首先要先 kill 掉所有的任务，因为当前客户的所有节点已经是 unhealthy 状态了，可以采用如下办法 kill 所有的任务：

for app in `yarn application -list | awk '$6 == "ACCEPTED" { print $1 }'`; do yarn application -kill "$app";  done

step 2.重启所有节点
step 3.重新提交任务