1. 环境
本文使用Hadoop 2.7.3版本
2. 错误信息
执行stop-dfs.sh后显示以下信息:
3. 原因分析
执行stop-dfs.sh后,会依次执行hadoop-daemons.sh > hadoop-daemon.sh脚本,然后定位到“no $command to stop”发现脚本会在$HADOOP_PID_DIR目录里面查找hadoop-$HADOOP_IDENT_STRING-$command.pid文件,$HADOOP_PID_DIR目录默认是/tmp目录,$HADOOP_IDENT_STRING默认是启动Hadoop的用户名$USER,$command是你要停止的节点类型,例如namenode、datanode或secondarynamenode。所以本例的pid文件名是:hadoop-hdfs-namenode.pid、hadoop-hdfs-secondarynamenode.pid、hadoop-hdfs-datanode.pid。
因为根据linux的tmpwatch,默认在30天内文件不被访问的情况下就会被清理,所以导致找不到上述的pid文件,因此无法停止namenodes、datanodes和secondary namenodes。
4. 解决方法
使用ps命令查找正在运行的namenodes、datanodes和secondary namenodes的pid,然后在/tmp目录创建对应的pid文件,重新执行stop-dfs.sh脚本,一切正常!或者可以直接运行kill -9命令把对应的pid进程杀掉。下次重新启动hdfs之前建议修改$HADOOP_PID_DIR目录,否则的话那些pid文件还是会被tmpwatch清理。
本文使用Hadoop 2.7.3版本
2. 错误信息
执行stop-dfs.sh后显示以下信息:
Stopping namenodes on [master]
master: no namenode to stop
slave1: no datanode to stop
slave2: no datanode to stop
slave3: no datanode to stop
Stopping secondary namenodes [x.x.x.x]
x.x.x.x: no secondarynamenode to stop
3. 原因分析
执行stop-dfs.sh后,会依次执行hadoop-daemons.sh > hadoop-daemon.sh脚本,然后定位到“no $command to stop”发现脚本会在$HADOOP_PID_DIR目录里面查找hadoop-$HADOOP_IDENT_STRING-$command.pid文件,$HADOOP_PID_DIR目录默认是/tmp目录,$HADOOP_IDENT_STRING默认是启动Hadoop的用户名$USER,$command是你要停止的节点类型,例如namenode、datanode或secondarynamenode。所以本例的pid文件名是:hadoop-hdfs-namenode.pid、hadoop-hdfs-secondarynamenode.pid、hadoop-hdfs-datanode.pid。
因为根据linux的tmpwatch,默认在30天内文件不被访问的情况下就会被清理,所以导致找不到上述的pid文件,因此无法停止namenodes、datanodes和secondary namenodes。
4. 解决方法
使用ps命令查找正在运行的namenodes、datanodes和secondary namenodes的pid,然后在/tmp目录创建对应的pid文件,重新执行stop-dfs.sh脚本,一切正常!或者可以直接运行kill -9命令把对应的pid进程杀掉。下次重新启动hdfs之前建议修改$HADOOP_PID_DIR目录,否则的话那些pid文件还是会被tmpwatch清理。