解决myhadoop.sh 群起群停脚本的两个小问题

1. 解决无法获取……的问题

解决办法:删除hadoop安装目录/opt/module/ha/hadoop/etc/hadoop下的workers文件中的localhost并保存,重启集群即可,非常优雅~

2. myhadoop.sh stop之后有个别进程(NodeManager/DataNode)存活问题

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w9kR9hRA-1670523348339)(https://ibacon.oss-cn-beijing.aliyuncs.com/img/20220831085232.png)]

问题原因:

hadoop长时间启动,用脚本群关集群时是根据DN上的mapred和dfs进程号来执行的,系统每隔一段时间会清空进程号所在文件夹,而系统默认该目录为/tmp,有可能找不到这个进程号,就关不掉这个进程,正常情况下等一段时间他会自己go die ,但是这个时间我不想等

解决办法:

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

找到以下内容 指定一个存放pid的文件夹pids

重启hadoop集群再用脚本关闭,看到效果还行

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值