Hadoop 在使用过程中常遇到的问题

• sudo /etc/init.d/iptables stop关闭防火墙，或：service iptables stop(立即生效)，chkconfig iptables off(重启后生效)

• df -hl查看系统空间是否足够

• jps查看进程：服务是否都启动了，datanode数（为2）

• 是否在safemode下：hadoop dfsadmin -safemode leave，离开sofemode

• hadoop dfsadmin -report

• 不用start-all.sh启动全部服务，而是单独先后启动服务：
  hadoop-daemon.sh start namenode
  hadoop-daemon.sh start datanode
  hadoop-daemon.sh start secondarynamenode
  hadoop-daemon.sh start jobtracker
  hadoop-daemon.sh start tasktracker

• 查看启动日志（我的启动日志位于/usr/local/hadoop/logs文件夹下）：hadoop-root-datanode-localhost.log 可在日志文件中定位和查看错误原因。

• 某些节点出现running asprocess XXX. Stop it first
  这是由于各节点登录用户为root，在启动hadoop前，务必将各节点用户切换至普通用户hadoop下，切换后的启动效果如下：从图中可以看出hadoop集群中服务的启动顺序：namenode、datanode、secondarynamenode、jobtracker以及tasktracker；

• 某节点namenode/tasktracker自动关闭
  关闭该节点防火墙，serviceiptables stop(立即生效)、chkconfig iptables off(重启后生效)；

• 某节点jps命令无效
  JDK环境变量为配置成功。JPS在/usr/java/XXX/bin下，将其加入到/etc/profile中。

• 多次格式化HDFS注意事项
  先将每个节点上的/usr/hadoop/tmp文件夹删除，这是因为每次格式化的时候会重新创建一个NamenodeID，而/tmp/dfs/data下包含了上次格式化的NamenodeID，hadoopnamenode –format会清空namenode下的数据，但是不能同时清空datanode的数据，所以格式化前，先将所有的tmp清空。

• JobTracker is in safe mode
  这表示JobTracker处于安全模式，用hadoop dfsadmin –safemode leave退出安全模式。

• Can not start tasktracker becausejava.net.BindException:Address already in use
  这表明某端口正被使用，查看日志获得端口号port，并通过ps –ef|grep port查看端口被哪个进程占用，关闭该进程，有时关闭该进程后重启计算机才能解决。

• Error: Java heap space
  这表明JVM内存不够，在mapred-site.xml中设置属性mapred.child.java.opts，可以设为-Xmx1024M，这里设置的值最好是物理内存的一半。