hadoop 运维问题汇总(持续更新中)

1. hadoop 2.4 运行mapreduce 报10020端口拒绝连接,是因为jobhistory进程未启动，需要手动到sbin/mr-jobhistory-daemon.sh   start historyserver

2. hadoop 2.4 运行时发现文件无法读取，safemode in on

   可通过 bin/hdfs dfsadmin -safemode get 获取

   正常情况可通过 bin/hdfs dfsadmin -safemode leave 离开安全模式

   特殊情况：leave后虽然现实OFF需要用 get再获取一次，发现还是on

   去cluster发现是lost nodes,查看发现是namenode所在节点的硬盘满了，可清空处理。

   特殊情况：1.8T硬盘爆满，但du -h 加起来都没有这么多，原因不明，后来发现硬盘自动逐渐减少到正常。了解这种现象的小伙伴请留言提点。

   硬盘恢复正常后，重启hadoop，hdfs不在安全模式下了。正常运行mapreduce.