1.hadoop运行一段时间后关闭集群居然报了no datanode/namenode... to stop这样的问题,原因是hadoop运行各节点的节点进程id和pid文件记录的进程号不一致导致,造成进程id不一致的原因还不明确,最好在搭建hadoop环境时设置hadoop-env.sh中的export HADOOP_PID_DIR=${HADOOP_HOME}/pid,默认的目录是/tmp,linux默认会每隔一段时(一般是一个月或者7天左右)去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop-hadoop-namenode.pid两个文件后,namenode自然就找不到datanode上的这两个进程了。
hadoop运维问题汇总,持续更新
最新推荐文章于 2024-01-07 14:27:22 发布