基于Centos7和Hadoop3.1.3搭建完全分布式集群（1）

基于Centos7和Hadoop3.1.3搭建完全分布式集群(1)----虚拟机环境准备篇

一、虚拟机准备

1）准备三台虚拟机，虚拟机配置要求如下：

单台虚拟机：内存4G，硬盘50G，安装必要环境
以第一台虚拟机配置为例

（1）修改克隆虚拟机的静态IP

sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME=“ens33”
IPADDR=192.168.1.102
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.2

另外两台虚拟机IPADDR地址分别修改为192.168.1.103,192.168.1.104

（2）查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

（3）查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

（4）保证Linux文件中IP地址、Linux虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

（5）安装必要插件

sudo yum install -y epel-release
sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

2）修改主机名

（1）修改主机名称

sudo hostnamectl --static set-hostname hadoop102
第二台命名hadoop103，第三台命名为hadoop104

（2）配置主机名称映射，打开/etc/hosts

sudo vim /etc/hosts
添加如下内容
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104

（3）修改window的主机映射文件（hosts文件）

(a)进入C:\Windows\System32\drivers\etc路径
(b)打开hosts文件并添加如下内容
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104

3）关闭防火墙

sudo systemctl stop firewalld
sudo systemctl disable firewalld

4）创建hadoop用户用来操作集群

sudo useradd hadoop
sudo passwd hadoop

5）重启虚拟机

reboot

6）配置hadoop用户具有root权限

visudo
修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行，如下所示：
root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL

7）在/opt目录下创建文件夹

(1)在/opt目录下创建module、software文件夹
sudo mkdir module
sudo mkdir software
(2)修改module、software文件夹的所有者cd
sudo mkdir /opt/module /opt/software
sudo chown hadoop:hadoop /opt/module /opt/software

二、安装JDK（以hadoop102为例）

1）卸载现有JDK

rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

2)用Xshell等工具将JDK导入到opt目录下面的software文件夹下面

JDK版本jdk-8u212-linux-x64.tar

3）解压JDK到/opt/module目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

4）配置JDK环境变量

(1)新建/etc/profile.d/my_env.sh文件
sudo vim /etc/profile.d/my_env.sh
添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
(2)保存后退出
:wq
(3)重启xshell窗口，让环境变量生效

5）测试JDK是否安装成功

java -version
如果能看到以下结果、则Java正常安装
java version “1.8.0_212”
注意：重启（如果java -version可以用就不用重启）
sudo reboot

三、安装Hadoop（以hadoop102为例）

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1）用Xshell等工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

2）解压安装文件到/opt/module下面

[hadoop@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

3）查看是否解压成功

[hadoop@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3

4）将Hadoop添加到环境变量

(1)获取Hadoop安装路径
[hadoop@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
(2)打开/etc/profile.d/my_env.sh文件
sudo vim /etc/profile.d/my_env.sh
在profile文件末尾添加JDK路径：（shitf+g）
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
(3)保存后退出
:wq
(4)让修改后的文件生效
[hadoop@ hadoop102 hadoop-3.1.3]$ source /etc/profile.d/my_env.sh

5）测试是否安装成功

[hadoop@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

6）重启(如果Hadoop命令不能用再重启)

[hadoop@ hadoop102 hadoop-3.1.3]$ sync
[hadoop@ hadoop102 hadoop-3.1.3]$ sudo reboot