hadoop学习笔记之二：安装伪分布式

最新推荐文章于 2024-09-25 17:01:03 发布

jtbrian

最新推荐文章于 2024-09-25 17:01:03 发布

阅读量387

点赞数

分类专栏： hadoop 文章标签： hadoop 伪分布 start-df

本文链接：https://blog.csdn.net/jtbrian/article/details/52174703

版权

hadoop 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

摘要：主要是参考官网 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html 安装的，只是安装过程中有些需要特别注意的地方需要在这里记录一下

1.安装过程中可能回报JAVA_HOME找不到的问题
localhost: Error: JAVA_HOME is not set.
解决办法:
修改./etc/hadoop/hadoop-env.sh里JAVA_HOME设置的地方

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_45

2.运行start-dfs.sh的时候，会报如下警告
DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
解决办法:
hadoop-env.sh中重新配置HADOOP_OPTS：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"

出处：http://blog.csdn.net/ligt0610/article/details/47757013，

注意：有人说是跟系统位数有关系，但是根据官网说明在hadoop2.5以及以后版本已经包含64位了，如果是2.4以及以前的版本，大家可以看一下是不是这个问题

3.运行start-dfs.sh的时候，出现了permission denied错误
解决办法:
首先确保hadoop目录的权限问题，如果没问题那么可以试以下办法：
执行：ssh localhost，如果报相同错误，那么在执行一下语句

  $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

这一段在官网文档里也有说明。

4.在start-yarn.sh后，发现访问不了 http://localhost:8088/这个地址
解决办法：
执行命令：./sbin/mr-jobhistory-daemon.sh start historyserver
出处：http://www.powerxing.com/install-hadoop-in-centos/，一篇很好的安装指导文档

5.hadoop的命令手册：
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
版本有点老，但是还是很用参考价值的