将hadoop的资源分为下图所示
如上图所示,我们需要将namenode 和zkfc(FailoverController)部署在第一第二台服务器上,在第一台服务器上部署动yarn,第三台服务器中部署resourcemanager,并将datanode在三台服务器中部署。
1. 关闭防火墙
2. 修改主机名
3. 配置hosts文件。将需要搭建集群的主机全部配置到hosts文件中,如
192.168.32.138 cloud01
192.168.32.139 cloud02
192.168.32.140 cloud03
4. 配置免密登录
ssh-keygen
一路回车,然后将秘钥发送给另一台服务器
ssh-copy-id cloud02
然后输入cloud02的密码,将第一台服务器的key发送给第二第三台,同理第二台发送给第一第三,第三台发送给第一第二台。
5. 安装jdk
6. 安装zookeeper
7. 配置Hadoop
1. 编辑hadoop-env.sh,并且重新生效
2. 编辑core-site.xml里的 configuration
<!--指定hdfs的nameservice,为整个集群起一个别名-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--指定Hadoop数据临时存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
<!--指定zookeeper的存放地址-->
<property>