1. 解决无法获取……的问题
解决办法:删除hadoop安装目录/opt/module/ha/hadoop/etc/hadoop下的workers文件中的localhost并保存,重启集群即可,非常优雅~
2. myhadoop.sh stop之后有个别进程(NodeManager/DataNode)存活问题
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w9kR9hRA-1670523348339)(https://ibacon.oss-cn-beijing.aliyuncs.com/img/20220831085232.png)]
问题原因:
hadoop长时间启动,用脚本群关集群时是根据DN上的mapred和dfs进程号来执行的,系统每隔一段时间会清空进程号所在文件夹,而系统默认该目录为/tmp,有可能找不到这个进程号,就关不掉这个进程,正常情况下等一段时间他会自己go die ,但是这个时间我不想等
解决办法:
vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
找到以下内容 指定一个存放pid的文件夹pids
重启hadoop集群再用脚本关闭,看到效果还行