第一次安装hadoop,跑wordcount,遇到不少问题,在这里总结一下我遇到的怪异问题和我的解决方法。
第一。hadoop命令不能使用
要使用hadoop命令,得在/etc/profile 里面添加 HADOOP_HOME. 个人怀疑在conf/hadoop-env.sh里面配置直也可以,但是没有试验,以后再验证。
export HADOOP_HOME_WARN_SUPPRESS=1 #export HADOOP_ROOT_LOGGER=DEBUG,console export HADOOP_HOME=/usr/hadoop/hadoop-1.2.1 export HADOOP_CONF_DIR=/usr/hadoop/hadoop-1.2.1/conf
接着把$HADOOP_HOME添加到PATH里面
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
其中:export HADOOP_ROOT_LOGGER=DEBUG,console的作用是在运行hadoop时候显示调试信息,可以很清楚的看到java报错信息,有利于定位错误。export HADOOP_HOME_WARN_SUPPRESS=1 如果执行hadoop命令提示hadoop_home已经被弃用,加上这个就可以解决了。
第二。namenode启动不了。执行wordcount时java报错连不上9000端口,用netstat -na|grep 9000 ,发现端口没开。再用jps才发现namenode没启动。检查发现是/etc/hosts 里面的主机名和ip映射没改(由于没有设固定IP,所以有时候重启ip会变) 关于设固定ip问题解决方案,参考http://blog.csdn.net/lfasc/article/details/10431639#comments第三。提示没有hdfs 文件权限。先用hadoop fs -chmod 777 /usr/hadoop ,发现没有解决,后在网上搜索得知,可以在/conf/hdfs-site.xml 里面添加一个节点来限制hadoop hdfs的权限检查。添加节点如下:<property> <name>dfs.permissions</name> <value>false</value> </property>这种方式虽然可行,但是不推荐使用。第四。关于安全模式问题处于安全模式时是没法对HDFS操作的,自然wordcount是没法完成的。可以用命令强制退出安全模式:hadoop dfsadmin -safemode leave也可以修改配置文件:dfs.safemode.threshold.pct ,将这个值设的小一点就可以了,缺省值是0.999。 hadoop启动时会检查datanode为文件,如果丢失的block达到一定的比例,就一直除以安全模式,即只读状态。缺省值0.999,即datanode上报的元数据达到了元数据记录的block个数的0.999倍才可以离开安全模式。