一、 搭建思路
1. 软件版本
本文 介绍大数据平台Hadoop的分布式环境搭建,为保证大家都可以在自己的电脑上使用,我们选取在VMware Workstation Pro 12.0以上版本的虚拟机上部署5台CentOS-7系统模拟5台服务器。Java jdk环境采用jdk-1.8以上版本,Hadoop采用hadoop-2.8.3版本
2. 节点地址规划
下表为地址规划表,地址规划以及与主机名的映射关系如下表所示:master1地址为192.168.150.101;master2地址为192.168.150.102;slave1地址为192.168.150.103;slave2地址为192.168.150.104;slave3地址为192.168.150.105。
序号 |
主机名 |
IP地址 |
掩码 |
网关 |
DNS |
1 |
master1 |
192.168.150.101 |
255.255.255.0 |
192.168.150.2 |
8.8.8.8 |
2 |
master2 |
192.168.150.102 |
255.255.255.0 |
192.168.150.2 |
8.8.8.8 |
3 |
slave1 |
192.168.150.103 |
255.255.255.0 |
192.168.150.2 |
8.8.8.8 |
4 |
slave2 |
192.168.150.104 |
255.255.255.0 |
192.168.150.2 |
8.8.8.8 |
5 |
slave3 |
192.168.150.105 |
255.255.255.0 |
192.168.150.2 |
8.8.8.8 |
3. 每节点资源规划
每台主机的资源配置如下表,后期也可以根据需要动态调整资源(vCPU的资源可以大于物理CPU 2倍左右,比如你的电脑只有4核,可以虚出8 vcpu)
序号 |
主机名 |
IP地址 |
内存 |
cpu |
硬盘 |
1 |
master1 |
192.168.150.101 |
2G |
1 |
100 |
2 |
master2 |
192.168.150.102 |
2G |
1 |
100 |
3 |
slave1 |
192.168.150.103 |
1G |
1 |
100 |
4 |
slave2 |
192.168.150.104 |
1G |
1 |
100 |
5 |
slave3 |
192.168.150.105 |
1G |
1 |
100 |
4. 系统账号和密码
序号 |
主机名 |
IP地址 |
管理账号/密码 |
普通用户/密码 |
1 |
master1 |
192.168.150.101 |
||
2 |
master2 |
192.168.150.102 |
||
3 |
slave1 |
192.168.150.103 |
||
4 |
slave2 |
192.168.150.104 |
||
5 |
slave3 |