截止到今天,我已经在博客中给大家介绍了hadoop的本地模式、伪分布式搭建,并且在《Hadoop》之"踽踽独行"(四)中也总结了在CentOS6.5平台上搭建的hadoop2.7.3集群的步骤。在那篇文章中,会涉及到一些原理,比如节点之间的SSH无密码登录,时间同步,防火墙设置以及在多节点之间的文件传输等等。当然,那样的集群搭建很适合理解搭建原理。
现在呢,hadoop集群的搭建原理,我们也知道了,因此,我们可以通过一些手段,来快速的搭建hadoop多节点的完全分布式集群。
完全分布式集群(Fully-Distributed Cluster)的原理:
Hadoop的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。我们需要在所有的主机上安装JDK和Hadoop,组成相互连通的网络。在主机间设置SSH免密码登录,把各从节点生成的公钥添加到主节点的信任列表。
一、准备工作:
1、VMware软件
2、操作平台:CentOS-6.10-x86_64-bin-DVD1.iso
3、jdk-8u172-linux-x64.tar.gz
4、hadoop-2.7.3.tar.gz
二、快速搭建一个hadoop集群
1、基本需求设置
第一步:在VMware上安装一台CentOS6.10虚拟机,命名为CentOS_6.10_64_Fully_master。设置主机名为master。
创建普通用户michael
第二步:如果没有在第一步中创建普通用户,那么就可以root身份创建一个普通用户michael。
[root@master ~]# useradd michael
[root@master ~]# passwd michael
New password:
第三步:配置网络服务。配置NAT模式下的静态IP。我配置的ip为:192.168.80.10,你的ip需要查看你自己机器上的VMnet8虚拟网卡。测试虚拟机与物理机是否互通。不会配置的话可以查看文章《Linux系统》之"皮毛系列"(七) 网络通信设置.
[root@master ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
.........
ONBOOT=yes #修改成yes,开机自动启用
..........
BOOTPROTO=static #修改成static/none
..........
IPADDR=192.168.80.10 #追加IP地址,设置成与VMnet8虚拟网卡同一段位的地址
NETMASK=255.255.255.0 #追加子网掩码,
GATEWAY=192.168.80.2 #追加网关,设置成VMnet8提供的网关,一般结尾都是2
DNS1=192.168.80.2 #追加DNS1,设置成与网关一致即可
第四步:修改/etc/hosts文件。在里面追加
[root@master ~]# vim /etc/hosts
192.168.80.10 ma