Hadoop+Spark+Zookeeper高可用集群搭建（一）

前言

接触大数据一年半的时间，自己动手搭建过Hadoop+Spark+Zookeeper高可用集群，做过一两个小项目（电影推荐、网络流量异常检测），对于新手来说搭建平台是一件棘手的问题，网上的一些博客或多或少都有一些小的BUG，所以决定写一系列搭建分布式平台的博客以供大家学习参考。如果搭建过程中出现什么BUG欢迎下方留言讨论。

1. 实验环境

1. Windows 10家庭中文版
2. VMware Workstation 15
3. CentOS-6.9-x86_64-minimal.iso
4. jdk-1.8
5. Hadoop-2.6.5
6. zookeeper-3.4.10
7. Scala-2.11.12
8. spark-2.4.3

2. 实验集群

2.1 集群架构图

2.2 集群网络配置

机器	用户名	IP	Hadoop	Spark
Master001	hadoop	192.168.5.140	NameNode	master
Master002	hadoop	192.168.5.141	NameNode	master
Slave001	hadoop	192.168.5.142	DataNode	slave
Slave002	hadoop	192.168.5.143	DataNode	slave
Slave003	hadoop	192.168.5.144	DataNode	slave

其中集群的网络配置是基于NAT网络技术的，下文中会详细讲解。通过集群架构图和网络配置希望大家能对集群先有一个总体的了解。

3. 系统安装

关于CentOS6.9 系统在虚拟机上的安装，网络资源很多，本文不再赘述。

4. 系统网络配置

4.1 VMware的配置

打开虚拟机，点击编辑，会有一个虚拟网络编辑器，打开之后可以看到:

打开NAT设置，可以看到：

注意：这里的网关地址后续需要用到，我设置为192.168.5.0网段是由于我物理机中Vmnet8的网络地址是192.168.5.1，可根据自身情况自行更改，当然后续配置文件也需要更改。

4.2 虚拟机的网络配置

4.2.1 修改ifcfg-eth0文件

注意：如果不修改ifcfg-eth0文件，使用ifconfig命令查看ip地址时，只能看到逻辑接口。
ifcfg-eth0 文件存放在/etc/sysconfig/network-scripts/目录中，该文件主要存放的是网络接口的脚本文件。
在配置ifcfg-eth0文件时，有一个坑！！！，在进行ifcfg-eth0配置时，其中参数DEVICE和HWADDR必须与/etc/udev/rules.d/70-persistent-net.rules最后一条一致！
所以，我们在配置ifcfg-eth0文件时，应该如下写：

下面解释一下各字段的含义：

字段	说明
DEVICE	接口名
HWADDR	MAC地址
TYPE	网络类型
ONBOOT	设置是否开启网络链接
BOOTPROTO	设置获取IP的方式：static or dhcp

4.2.2 修改resolv.conf文件

此文件位于：/etc/resolv.conf ，主要用于DNS域名解析，此处只需要插入一条自己的网关地址即可：

nameserver 192.168.5.2

4.3 重新启动网络服务

service network restart

出现以上界面，则说明重启成功，然后使用ifconfig命令查看IP地址：

4.4 验证网络

ping 192.168.5.1
ping www.baidu.com

5. 基础信息配置

之所以现在才写基础信息配置，是因为我认为网络配置较为重要，所以放在了前面，由于基础信息配置较为简单，不再加以赘述，直接给出shell语句和配置信息。

5.1 修改主机名

vi /etc/sysconfig/network

HOSTNAME=master001

5.2 设置hosts文件

vi /etc/hosts

注意：修改主机名后，需重启才生效，使用reboot命令即可。

5.3 创建用户

这个可以根据个人喜好，不过处于安全性考虑建议大家创建普通用户。

adduser hadoop
passwd hadoop
su -l hadoop

以上三条命令分别是，创建用户，设置密码，登录。

6. 安装Xshell

下载链接：https://xshell.en.softonic.com/
最好是把Xftp一起下载后安装，方便后期上传文件。
下载完成后，基本无脑next操作即可连接上虚拟机。
未完待续。。。