Ubuntu环境下Hadoop集群/分布式环境配置

简介

本文介绍了在Ubuntu 16.04 TLS系统下,如何配置Hadoop 2.7.3集群运行环境。环境大搭建使用了虚拟化平台VMware vSphere 5.1,方便虚机的拷贝和部署。读者也可以在个人PC上通过虚拟化软件VirutalBox或WorkStation部署Hadoop的集群环境。本文假定读者已经部署了Hadoop的伪分布式运行环境的虚拟机。

Ubuntu虚机基本部署

文章 在Ubuntu环境下配置Hadoop伪分布式模式运行环境介绍了伪分布式环境下Hadoop运行环境的搭建,在虚拟化平台下,我们可以复制相关的虚拟机,快速搭建Hadoop分布式开发环境。

在本文中我们将创建一个master节点(10.220.33.37),三个slave节点(10.220.33.34~10.220.33.36)。相关虚拟机节点上电后,除常规修改IP地址外,还需要对hostname和静态路由进行配置,保存后需要重启虚拟机。master节点的相关具体配置如下, slave节点参考做相应的配置:

hadoop@hadoop-master-vm:~$ cat /etc/hostname
hadoop-master-vm
hadoop@hadoop-master-vm:~$ cat /etc/hosts
127.0.0.1       localhost
127.0.1.1       hadoop-master-vm

10.220.33.37    hadoop-master-vm
10.220.33.36    hadoop-slave01-vm
10.220.33.35    hadoop-slave02-vm
10.220.33.34    hadoop-slave03-vm

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
配置完成后,可以在相关节点上分别做ping测试,确保相关静态路由正确配置。

SSH无密码登录节点

由于我们是基于Hadoop伪分布式虚拟机创建的Master和Slave节点,因此需要在master和slave节点上重新生产公钥:

hadoop@hadoop-master-vm:~$ cd ~/.ssh                    # 如果没有该目录,先执行一次ssh localhost
hadoop@hadoop-master-vm:~/.ssh$ rm ./id_rsa*            # 删除之前生成的公匙(如果有)
hadoop@hadoop-master-vm:~/.ssh$ ssh-keygen -t rsa       # 一直按回车就可以
hadoop@hadoop-master-vm:~/.ssh$ cat ./id_rsa.pub >> ./authorized_keys
配置完成后,可以通过ssh hostname命令来验证无密码登录是否生效。

hadoop@hadoop-master-vm:~$ ssh hadoop-master-vm
The authenticity of host 'hadoop-master-vm (127.0.1.1)' can't be established.
ECDSA key fingerprint is SHA256:1YeLhgGTygKaitVVyQCDDXKRCOHb59az/8fj0+nwvUI.
Are you sure you want to continue connecting
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值