21.yarn的NodeManager某个节点无法启动修复

1.Yarn的NodeManager无法启动且提示权限不足。

 

如报错所示可能是属组有问题。Chown failed;

2.检查yarn的NodeManager的权限。

（1）正常节点查看

[root@huajcdp7 ~]# cd /yarn/nm

[root@huajcdp7 nm]# ll

total 0

drwxr-xr-x 3 yarn yarn 16 Jul  4 19:35 filecache

drwx------ 2 yarn yarn  6 Jul 11 14:11 nmPrivate

drwxr-xr-x 8 yarn yarn 78 Dec 16  2022 usercache

（2）异常节点查看

[root@huajcdp9 dfs]# cd /yarn/nm

[root@huajcdp9 nm]# ll

total 0

drwxr-xr-x 3 498200009 498200009 16 Jul  5 09:55 filecache

drwx------ 2 498200009 498200009  6 Jul  9 05:02 nmPrivate

drwxr-xr-x 5 498200009 498200009 41 May  5 18:05 usercache

果然，我们发现权限不对，现在将错误的权限修改为正确的权限。

[root@huajcdp9 nm]# chown -R yarn:yarn *

[root@huajcdp9 nm]# ll

total 0

drwxr-xr-x 3 yarn yarn 16 Jul  5 09:55 filecache

drwx------ 2 yarn yarn  6 Jul  9 05:02 nmPrivate

drwxr-xr-x 5 yarn yarn 41 May  5 18:05 usercache

现在已经变更为正确的yarn的属组。

3.重启NodeManager。

再次启动依然报上面的错误。

 

继续检查NodeManager的其他配置信息的权限。

(1)正常的节点的权限。

[root@huajcdp7 nm]# cd /var/lib/hadoop-yarn/yarn-nm-recovery

[root@huajcdp7 yarn-nm-recovery]# ll

total 0

drwxr-xr-x 4 yarn yarn  52 Aug  1  2022 nm-aux-services

drwx------ 2 yarn yarn 118 Jul 11 14:08 yarn-nm-state

（2）异常的节点的权限。

[root@huajcdp9 nm]# cd /var/lib/hadoop-yarn/yarn-nm-recovery

[root@huajcdp9 yarn-nm-recovery]# ll

total 0

drwxr-xr-x 4 498200009 498200009  52 Apr 25 20:14 nm-aux-services

drwx------ 2 498200009 498200009 118 Jul 10 12:21 yarn-nm-state

更改异常节点的权限。

[root@huajcdp9 hadoop-yarn]# pwd

/var/lib/hadoop-yarn

[root@huajcdp9 hadoop-yarn]# chown -R yarn:yarn *

[root@huajcdp9 hadoop-yarn]# ll

total 0

drwxr-xr-x 4 yarn yarn 50 Apr 25 20:14 yarn-nm-recovery

4.继续查看其他的Nodemanager相关的目录权限。

(1)容器日志目录正常的节点：

[root@huajcdp7 yarn]# pwd

/yarn

[root@huajcdp7 yarn]# ll

total 0

drwxr-xr-x 2 yarn hadoop  6 Jul 11 14:30 container-logs

drwxr-xr-x 5 yarn hadoop 57 Jul 11 14:30 nm

（2）异常节点查看

[root@huajcdp9 yarn]# ll

total 0

drwxr-xr-x 2 498200009 hadoop  6 Jul 10 12:37 container-logs

drwxr-xr-x 5 498200009 hadoop 57 Jul 10 12:37 nm

[root@huajcdp9 yarn]# pwd

/yarn

修改异常节点的权限。

[root@huajcdp9 yarn]# chown -R yarn:hadoop *

[root@huajcdp9 yarn]# ll

total 0

drwxr-xr-x 2 yarn hadoop  6 Jul 10 12:37 container-logs

drwxr-xr-x 5 yarn hadoop 57 Jul 10 12:37 nm

5.继续重启次Nodemanager;

至此，此Nodemanager修复成功。其他服务的红色警告也消失了。

 这种权限的变更不确定是什么原因，但是确实发现项目目录权限不对了，一般正常情况下，HDFS,YARN相关的服务只要重启就能正常启动。但是偶尔也会发生权限不对，导致节点的失败的情形，这种情况只要按照正常的节点权限，修改异常节点的权限即可。