hadoop学习--hadoop2.3.0安装过程记录

最新推荐文章于 2020-01-14 11:09:48 发布

奋斗的鱼

最新推荐文章于 2020-01-14 11:09:48 发布

阅读量452

点赞数

分类专栏： hadoop&云计算

本文链接：https://blog.csdn.net/jbfsdzpp/article/details/39319293

版权

hadoop&云计算专栏收录该内容

18 篇文章 0 订阅

订阅专栏

配置过程主要参考

http://www.linuxidc.com/Linux/2014-08/105915.html

http://blog.itpub.net/15173958/viewspace-1142325/

http://www.aboutyun.com/thread-7684-1-1.html

在配置过程中遇到的问题不少，现记录如下：

1、ssh免密登陆

刚开始用的是密钥复制的办法，最后没有成功，后来把三个authorized_keys文件的内容复制到一起然后分别拷贝到master、slave1和slave2上，成功。另外，要记得是在哪个用户下配置的ssh免密，如果是在hadoop用户下，那免密登陆只在hadoop用户下有效，在root等其他用户中无效。

2、配置环境变量的问题

在/etc/profile中最后加上这些变量，要不然hadoop集群会起不来或出错

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.3.0
export JAVA_HOME=/usr/java/jdk1.7.0_67
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:/usr/local/hadoop/hadoop-2.3.0/bin:/usr/local/hadoop/hadoop-2.3.0/sbin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

3、最后启动的时候查看端口的问题

hadoop2.x后查看进程端口50030不用，改用8088端口
补充：后来在about云论坛看到hadoop2.2.0稳定版的可靠安装文档，http://www.aboutyun.com/thread-7684-1-1.html