hadoop遇到的问题

问题1:dataNode或者nameNode 没有启动

解决:

可以删除hadoop临时目录, 

重新格式化hadoop :hdfs namenode -format   

重启hadoop

问题2:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

在/etc/profile中，添加下面配置：

export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export  HADOOP_HOME=/root/training/hadoop-2.4.1
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

• 1
• 2
• 3

最后记得使配置生效：source /etc/profile

并把相同配置添加到hadoop-env.sh文件末尾。

输入如下命令，没有报warn，说明修改成功。

参考博客 :  http://blog.csdn.net/young_kim1/article/details/50324345

问题3: 进行 wordcount计算时 提示无法连接服务器

解决: yarn-site.xml 添加如下信息

<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>