hadoop配置及测试中错误归纳

1、util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
环境变量配置出错
.bashrc末尾添加
export JAVA_HOME=/home/will/jdk/jdk1.8
export HADOOP_INSTALL=/solf/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL

2、ls: Call From ubuntu/127.0.1.1 to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused;
(1)启动hadoop 守护进程
(2)修改core-site.xml的name属性 hdfs:\\localhost:8020\

3、start-all.sh 中jps 没有namenode
关机后 /tmp 目录下的文件被清空
在 core-site.xml
文件中添加
<property>
<name>hadoop.tmp.dir</name>
<value>/solf/hadoop/hadoop_will</value>   //路径为自定义只要不要/tmp同名
</property>
 
4、配置eclipse map/reduce出错
start-all.sh
在浏览器中访问：localhost:50070 可查看 DFS master中Port的值
Map/Reduce(V2)Master:
Host: localhost
Port:50070

DFS master:勾选Use M/R Master host
Host: localhost
Port: 查询得到的结果

5、Exception in thread "main" java.lang.UnsupportedClassVersionError: com/will/hdtest/WordCount : Unsupported major.minor version 51.0

编译与运行的jdk版本不匹配。

编译时为jdk1.8 运行时为jdk1.7（我自己的情况）

修改 /etc/profile 中 jdk的版本号，统一使用JDK1.8（参看 .bashrc、/etc/environment 中是否有设置JAVA_HOME 如果有则都修改为JDK1.8的根目录）

export JAVA_HOME=/home/will/jdk/jdk1.8  （指向jdk1.8的根目录）
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH
6、运行jar包
hadoop jar wordcount.jar com.will.hdtest.WordCount /user/will/wcinput /user/will/wcoutput
报错：wcoutput已经存在

hadoop fs -rm -r /user/will/wcoutput