Ubuntu环境下Hadoop集群/分布式环境配置

简介

本文介绍了在Ubuntu 16.04 TLS系统下，如何配置Hadoop 2.7.3集群运行环境。环境大搭建使用了虚拟化平台VMware vSphere 5.1，方便虚机的拷贝和部署。读者也可以在个人PC上通过虚拟化软件VirutalBox或WorkStation部署Hadoop的集群环境。本文假定读者已经部署了Hadoop的伪分布式运行环境的虚拟机。

Ubuntu虚机基本部署

文章 在Ubuntu环境下配置Hadoop伪分布式模式运行环境介绍了伪分布式环境下Hadoop运行环境的搭建，在虚拟化平台下，我们可以复制相关的虚拟机，快速搭建Hadoop分布式开发环境。

在本文中我们将创建一个master节点(10.220.33.37)，三个slave节点(10.220.33.34～10.220.33.36)。相关虚拟机节点上电后，除常规修改IP地址外，还需要对hostname和静态路由进行配置，保存后需要重启虚拟机。master节点的相关具体配置如下， slave节点参考做相应的配置：

hadoop@hadoop-master-vm:~$ cat /etc/hostname
hadoop-master-vm
hadoop@hadoop-master-vm:~$ cat /etc/hosts
127.0.0.1       localhost
127.0.1.1       hadoop-master-vm

10.220.33.37    hadoop-master-vm
10.220.33.36    hadoop-slave01-vm
10.220.33.35    hadoop-slave02-vm
10.220.33.34    hadoop-slave03-vm

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

配置完成后，可以在相关节点上分别做ping测试，确保相关静态路由正确配置。

SSH无密码登录节点

由于我们是基于Hadoop伪分布式虚拟机创建的Master和Slave节点，因此需要在master和slave节点上重新生产公钥：

hadoop@hadoop-master-vm:~$ cd ~/.ssh                    # 如果没有该目录，先执行一次ssh localhost
hadoop@hadoop-master-vm:~/.ssh$ rm ./id_rsa*            # 删除之前生成的公匙（如果有）
hadoop@hadoop-master-vm:~/.ssh$ ssh-keygen -t rsa       # 一直按回车就可以
hadoop@hadoop-master-vm:~/.ssh$ cat ./id_rsa.pub >> ./authorized_keys

配置完成后，可以通过ssh hostname命令来验证无密码登录是否生效。

hadoop@hadoop-master-vm:~$ ssh hadoop-master-vm
The authenticity of host 'hadoop-master-vm (127.0.1.1)' can't be established.
ECDSA key fingerprint is SHA256:1YeLhgGTygKaitVVyQCDDXKRCOHb59az/8fj0+nwvUI.
Are you sure you want to continue connecting