《Hadoop》之"踽踽独行"(十)快速搭建一个Hadoop完全分布式集群

截止到今天,我已经在博客中给大家介绍了hadoop的本地模式、伪分布式搭建,并且在《Hadoop》之"踽踽独行"(四)中也总结了在CentOS6.5平台上搭建的hadoop2.7.3集群的步骤。在那篇文章中,会涉及到一些原理,比如节点之间的SSH无密码登录,时间同步,防火墙设置以及在多节点之间的文件传输等等。当然,那样的集群搭建很适合理解搭建原理。

现在呢,hadoop集群的搭建原理,我们也知道了,因此,我们可以通过一些手段,来快速的搭建hadoop多节点的完全分布式集群。

完全分布式集群(Fully-Distributed Cluster)的原理:

Hadoop的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。我们需要在所有的主机上安装JDK和Hadoop,组成相互连通的网络。在主机间设置SSH免密码登录,把各从节点生成的公钥添加到主节点的信任列表。

一、准备工作:

1、VMware软件
2、操作平台:CentOS-6.10-x86_64-bin-DVD1.iso
3、jdk-8u172-linux-x64.tar.gz
4、hadoop-2.7.3.tar.gz

二、快速搭建一个hadoop集群

1、基本需求设置

第一步:在VMware上安装一台CentOS6.10虚拟机,命名为CentOS_6.10_64_Fully_master。设置主机名为master

创建普通用户michael

第二步:如果没有在第一步中创建普通用户,那么就可以root身份创建一个普通用户michael。

[root@master ~]# useradd michael
[root@master ~]# passwd michael
New password:

第三步:配置网络服务。配置NAT模式下的静态IP。我配置的ip为:192.168.80.10,你的ip需要查看你自己机器上的VMnet8虚拟网卡。测试虚拟机与物理机是否互通。不会配置的话可以查看文章《Linux系统》之"皮毛系列"(七) 网络通信设置.

[root@master ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
.........
ONBOOT=yes           #修改成yes,开机自动启用
..........
BOOTPROTO=static     #修改成static/none
..........
IPADDR=192.168.80.10    #追加IP地址,设置成与VMnet8虚拟网卡同一段位的地址
NETMASK=255.255.255.0   #追加子网掩码,
GATEWAY=192.168.80.2    #追加网关,设置成VMnet8提供的网关,一般结尾都是2
DNS1=192.168.80.2       #追加DNS1,设置成与网关一致即可

第四步:修改/etc/hosts文件。在里面追加

[root@master ~]# vim /etc/hosts
192.168.80.10  ma
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值