Hadoop3.x集群搭建及配置的完整操作流程

一、Linux安装及网络配置

1.虚拟机的选择

虚拟机选择的是VMware Workstation Pro16，下载地址https://www.vmware.com/cn.html，自行选择需要的版本，然后正版激活的方式就因钱而异了。

2.系统的选择

系统选择的是基于Linux内核的CentOS7，下载地址http://vault.centos.org/，将iso文件保存在本地任意文件夹内即可。

3.安装CentOS7

具体安装的流程推荐看这篇博客，写的非常细致：https://blog.csdn.net/qq_39135287/article/details/83993574

4.CentOS7基本设置

先完成一台虚拟机的基本配置，作为母虚拟机。
配置hadoop集群至少需要三台虚拟机，这三台虚拟机是通过对母虚拟机的克隆得到的。

4.1母虚拟机的操作

4.1.1修改网络信息

输入：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

//修改以下内容
BOOTPROTO=static  //静态IP地址
ONBOOT=yes        //开机自动启用网络连接
//添加以下内容
IPADDR=192.168.***.1    //设置IP地址
NETMASK=255.255.255.0   //子网掩码
GATEWAY=192.168.***.2   //设置网关（网关是和IP在同一个子字段下的不会被IP使用的地址）
DNS1=192.168.1.1        //DNS设置是根据当前使用的网络决定的

IP设置的规则：三者相同（即保证以下三个地方查看到的IP的前三个网段相同）
1.CentOS7中 /etc/sysconfig/network-scripts/ifcfg-ens33 的IPADDR
2.Windows + R输入cmd进入命令行模式，输入ipconfig查看到的以太网适配器 VMware Network Adapter VMnet8下的IPv4 地址
3.进入VMware依次点击编辑(E)-虚拟网络编辑器(N)-VMnet8(NAT模式)-NAT设置(S)后看到的子网IP，注意这里看到的网关即/etc/sysconfig/network-scripts/ifcfg-ens33中GATEWAY应该设置为的网关

4.1.2永久关闭防火墙

依次输入：

systemctl stop firewalld.service    // 停止firewalld
 
systemctl disable firewalld.service // 禁止开机启动

输入：

vi /etc/sysconfig/selinux 

将SELINUX修改为disabled

全部修改完成后输入service network restart重启网络服务，或者直接重启虚拟机，此时母虚拟机的基本配置就完成了。

4.2创建hadoop集群中的三台虚拟机

4.2.1将母虚拟机克隆三份

4.2.1单独配置每台虚拟机的网络（四步）

第一步：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改IPADDR，修改IP以区分不同的虚拟机

第二步：

vi /etc/hostname

修改该主机的名称，以用名称的方式区分不同虚拟机

第三步：

vi /etc/hosts

将三台虚拟机的IP和主机名输入进去
例如：

192.168.11.111 hadoop1
192.168.11.222 hadoop2
192.168.11.333 hadoop3

第四步：
去本机C:\Windows\System32\drivers\etc\hosts把新的虚拟机的IP和主机名添加进去，为了可以在网络上通过主机名找到对应的IP

二、Haoop集群配置

集群的三台机器为hadoop2、3、4

1.创建新用户testman

[root@hadoop1 ~]$ useradd testman
[root@hadoop1 ~]$ passwd testman

2.赋予testman用户root的权限

[root@hadoop1 ~]#vi /etc/sudoers

修改以下内容：

## Allow root to run any commands anywhere
root      ALL=(ALL)     ALL  //原有内容
testman   ALL=(ALL)     ALL  //添加该行

3.在/opt目录操作

在/opt目录下创建module、software文件夹，并修改所有者

[testman@hadoop101 opt]$ sudo mkdir module
[testman@hadoop101 opt]$ sudo mkdir software
[testman&