如何搭建hdfs集群和yarn集群

1，jdk安装，配置环境变量
vi /etc/profile
2，ssh免密钥（本机）
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3，上传hadoop.tar.gz到服务器
解压tar zxvf，mv hadoop-2.6.5 /opt/sxt
vi /etc/profile

4，/opt/hadoop-2.6.5/etc/hadoop
*hadoop-env.sh
JAVA_HOME=/usr/java/jdk1.8.0_141
REFIX/sbin

(搭建hdfs集群)
fxb1

slaves
fxb1
fxb2
fxb3
这个配置文件是datanode所在的节点

分发部署包到其他节点
cd /opt/sxt
scp -r hadoop-2.6.5 node02:/opt/sxt/
scp -r hadoop-2.6.5 node03:/opt/sxt/

hdfs namenode -format 初始化namenode
start-dfs.sh 开启hdfs集群

（搭建yarn集群）
yarn集群中有两个角色：
主节点：Resource Manager 1台
从节点：Node Manager N台

Resource Manager一般安装在一台专门的机器上
Node Manager应该与HDFS中的data node重叠在一起

修改配置文件：
yarn-site.xml

yarn.resourcemanager.hostname
fxb1

yarn.nodemanager.aux-services mapreduce_shuffle

用脚本启动yarn集群：
sbin/start-yarn.sh
停止：
sbin/stop-yarn.sh