Hadoop Yarn 集群搭建

最新推荐文章于 2024-04-27 23:53:24 发布

置顶

henry860916

最新推荐文章于 2024-04-27 23:53:24 发布

阅读量602

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/henry860916/article/details/50531702

版权

1. 服务器部署
192.168.0.101 主名字节点
192.168.0.101 备名字节点
192.168.0.101 数据节点1
192.168.0.102 数据节点2

2. /etc/hosts 设置
192.168.0.101 namenode
192.168.0.102 datanode

3. ssh 免密码登录
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost
第一次需要输入密码，第二次以后自动登录

此外，由于namenode需要ssh访问datanode，因此需要在datanode的授权码中增加对namdenode的授权
在namenode中使用scp命令
如：scp id_rsa.pub tizen@datanode:share
在datanode中
cat ~/share/id_rsa.pub >> ~/.ssh/authorized_keys

如果遇到ssh 验证等错误，可能是以前环境脏数据所致，建议删除authorized_keys 和 known_hosts 文件，及id_rsa*，重新生成。

4. 安装jdk，

最好卸载openjdk-7-jdk (sudo apt-get remove openjdk)
下载sun的jdk版本

ln到/usr/local/jdk

export JAVA_HOME=/usr/local/jdk
export CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

5. 下载hadoop2.7.1
ln 到 /usr/local/hadoop

6. 环境变量中设置.bashrc
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_PID_DIR=/data/hadoop/pids
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR&#