hadoop3.3.1HA高可用环境搭建

一、环境及工具使用说明
虚拟机：Oracle VM VirtualBox
下载地址：VirtualBox-6.1.34a-150636-Win.exe下载地址

Linux版本：CentOS 7
下载地址：CentOS-7-x86_64-DVD-2009.iso下载地址

JDK版本：jdk1.8
下载地址：jdk-8u333-linux-x64.tar.gz下载地址

Hadoop版本：hadoop-3.3.1
下载地址：hadoop-3.3.1.tar.gz下载地址

Zookeeper版本：apache-zookeeper-3.6.3
下载地址：apache-zookeeper-3.6.3-bin.tar.gz下载地址

SSH工具： Aechoterm (闪令)
下载地址：Aechoterm下载地址

集群规模是3台主机，本次设置的主机名分别为node02、node03、node04

二、安装虚拟机
自行百度

三、虚拟机安装CentOS 7系统
参照以下安装方法安装3台主机：
Oracle VM VirtualBox安装CentOS7系统

三、环境配置
3台主机都需要做以下的所有配置

1、查看主机IP

输入命令：ifconfig
若出现下图同样报错：-bash: ifconfig: command not found，说明没有安装相关包，这种情况下远程登录主机是无法登陆的

解决方法：安装net-tools.x86_64
（1）输入命令：yum install net-tools.x86_64

（2）安装完成后，修改配置文件ifcfg-enp0s8，将onboot=no改成yes
输入命令：vi /etc/sysconfig/network-scripts/ifcfg-enp0s8


（3）重启主机
输入命令：shotdown -r now

（4）重启后重新查看IP，IP地址正确显示，说明没有问题。可以使用Aechoterm登录，便于后期上传文件

2、JDK安装
（1）查看JDK版本
输入命令：java -version
若出现错误：-bash: java: command not found，说明jdk没有安装

（2）查询linux系统自带jdk是否存在，若存在需要先卸载，不存在可进行下一步
输入命令：rpm -qa|grep gcj

（3）新建文件夹/opt/modules
输入命令：mkdir /opt/modules

（4）上传并解压jdk压缩文件
将下载好的jdk压缩文件放到/opt/modules文件夹中（Aechoterm可以直接拖拽上传），并解压jdk压缩文件到指定位置
解压命令：tar -zxvf /opt/modules/jdk-8u333-linux-x64.tar.gz -C /opt/modules

（5）修改环境配置
输入命令：vim /etc/profile
若出现 -bash: vim: command not found，说明没有安装vim相关插件，需先安装相关插件

查看vim安装情况，发现只有最小安装，需要安装vim
输入命令：rpm -qa|grep vim

安装命令：yum -y install vim*

安装完成后重新查看
没问题后重新修改配置文件
输入命令：vim /etc/profile
在配置文件中添加：

#JDK
export JAVA_HOME=/opt/modules/jdk1.8.0_333
export PATH=$JAVA_HOME/bin:$PATH

（6）生效配置文件
生效命令：source /etc/profile

（7）重新查看JDK版本，正确显示版本，说明JDK安装成功

3、修改主机名
（1）修改配置文件
输入命令：vim /etc/sysconfig/network

配置文件中添加以下内容，hostname=主机名：

NETWORKING=yes
HOSTNAME=node02

（2）Exit退出后重新登录，可以看到root@localhost变为root@主机名，则主机名配置成功

4、修改域名映射

修改域名解析映射文件使得后续可以直接通过主机名访问
（1）查看配置之前，访问到的IP是10.0.2.15

（2）配置域名映射文件
输入命令：vim /etc/hosts

在配置文件中添加：

192.168.56.106  node02
192.168.56.107  node03
192.168.56.108  node04

（3）配置后重新PING，发现访问的IP为正确IP

5、关闭防火墙
（1）查看防火墙状态
查看命令：systemctl status firewalld
若状态active说明防火墙是开启的

（2）关闭防火墙
方式一： 临时关闭防火墙，每次重启服务器需要重新关闭
关闭命令：systemctl stop firewalld

方式二： 永久关闭防火墙
先执行命令：systemctl stop firewalld
再执行命令：systemctl disable firewalld

关闭后重新查看防火墙状态，是关闭状态

6、关闭Selinux子安全机制
输入命令：vim /etc/selinux/config

修改 SELINUX=disabled

修改之后查看状态：sestatus

7、创建普通用户并授权
（1）新建普通用户，这里用户名为：hadoop
添加用户命令：useradd hadoop
设置密码命令：passwd hadoop 输入并确认密码

（2）授权
输入命令：vim /etc/sudoers

在文件中添加：hadoop ALL=(root) NOPASSWD:ALL
（意思是hadoop用户与root用户权限相同，并且切换到hadoop用户时不需要验证密码）

PS： 如果root用户没有sudoers文件写入权限，需要先添加写权限，然后再修改配置文件（:q! 从sudoers文件中强制退出）
添加权限命令：chmod u+w /etc/sudoers

（3）以普通用户登录
切换命令：su - hadoop

将hadoop文件夹所有者指定为hadoop用户，否则可能存在权限问题
输入命令：sudo chown -R hadoop:hadoop /opt/modules

四、配置NTP服务器
待更新

五、hadoop+zookeeper配置
待更新