摘要:主要是参考官网 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html 安装的,只是安装过程中有些需要特别注意的地方需要在这里记录一下
1.安装过程中可能回报JAVA_HOME找不到的问题
localhost: Error: JAVA_HOME is not set.
解决办法:
修改./etc/hadoop/hadoop-env.sh里JAVA_HOME设置的地方
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_45
2.运行start-dfs.sh的时候,会报如下警告
DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
解决办法:
hadoop-env.sh中重新配置HADOOP_OPTS:
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"
出处:http://blog.csdn.net/ligt0610/article/details/47757013,
注意:有人说是跟系统位数有关系,但是根据官网说明在hadoop2.5以及以后版本已经包含64位了,如果是2.4以及以前的版本,大家可以看一下是不是这个问题
3.运行start-dfs.sh的时候,出现了permission denied错误
解决办法:
首先确保hadoop目录的权限问题,如果没问题那么可以试以下办法:
执行:ssh localhost,如果报相同错误,那么在执行一下语句
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
这一段在官网文档里也有说明。
4.在start-yarn.sh后,发现访问不了 http://localhost:8088/这个地址
解决办法:
执行命令:./sbin/mr-jobhistory-daemon.sh start historyserver
出处:http://www.powerxing.com/install-hadoop-in-centos/,一篇很好的安装指导文档
5.hadoop的命令手册:
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
版本有点老,但是还是很用参考价值的