搭建Hadoop集群
一.克隆集群所需虚拟机
跟搭建ELK集群操作是一样的,这里不做赘述。详情请查看这篇文章:
链接: 虚拟机克隆及配置详细操作.
二.添加互信
在添加互信之前先在vi /etc/hosts
添加ip 主机名
完成之后添加互信、
- 下方操作第一步和第二步主机不用做,仅克隆机需要完成。
--第一步:
ssh-keygen
--第二步:
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
--第三步:
ssh-copy-id -i /root/.ssh/id_rsa.pub -p22 root@主机名
注意:添加互信第三步执行时也需要给本虚拟机执行即ssh-copy-id -i .ssh/id_rsa.pub -p22 root@本虚拟机hostname
三.修改配置文件
在/opt/hadoop2.6.0/etc/hadoop/
下
1.vi hdfs-site.xml
修改hdfs-site.xml:
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.198.102:50090</value>
</property>
2.vi mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.198.103:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.198.103:19888</value>
</property>
3.vi ./slaves
4.到此集群配置完成,可以多开配置,也可以配置到一台机器后发送到集群内的其他机器里
三.启动hadoop集群
对于集群来说,所有机器都是一体的,所以启动hdfs时只需要在主机上格式化hadoop namenode -format,再start-all.sh即可。
成功展示页面:
主节点:
副节点1:
副节点2: