20210823-基于centos7搭建hadoop3.X完全分布式集群

#关键字：CentOS7、hadoop/hadoop3/hadoop3.0/hadoop3.x完全分布式集群

一、目标：

        1、基于hadoop3在虚拟机上搭建3个节点的hadoop完全分布式集群。

        2、集群部署规划：

主机名 服务名	hadoop3	hadoop4	hadoop5
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

二、环境说明：

        1、jdk：使用的版本是1.8.0_221，默认已经安装。

        2、虚拟机：3台CentOS7系统的虚拟机，主机名分别是 hadoop3、hadoop4、hadoop5。

        3、hadoop：版本 hadoop-3.2.2 ，下载地址。

        4、系统用户：安装过程使用普通用户权限，本文使用的用户是 sspu 

        5、3台虚拟机需要配置免密登录，默认已经配置，没有配置的可自行配置。

        6、Linux远程工具：SecureCRT。

        7、建议配置 rsync 文件分发。

三、搭建步骤：

        1、下载 hadoop3 压缩包：hadoop-3.2.2.tar.gz

        1.1. 下载地址。
        1.2. 截图。
        

        2、上传压缩包到机器 hadoop3、hadoop4、hadoop5 节点并解压：
        2.1. 上传压缩包 hadoop-3.2.2.tar.gz 到 hadoop3、hadoop4、hadoop5 /opt/module/目录。
        2.2. hadoop-3.2.2.tar.gz 压缩包解压，这里以 hadoop3 节点为例说明，hadoop4、hadoop5节点操作相同。

[sspu@hadoop3 module]$ cd /opt/module
[sspu@hadoop3 module]$ tar -zxvf  hadoop-3.2.2.tar.gz

        3、添加 hadoop 到环境变量 (注意：hadoop3、hadoop4、hadoop5节点都要配置)：

        3.1. 编辑 /etc/profile 文件。

[sspu@hadoop3 hadoop-3.2.2]$ cd /opt/module/hadoop-3.2.2/
[sspu@hadoop3 hadoop-3.2.2]$ pwd
/opt/module/hadoop-3.2.2
[sspu@hadoop3 hadoop-3.2.2]$ sudo vim /etc/profile

        3.2. 将 hadoop 配置到环境变量(shift+g 跳到 /etc/profile 文件最后一行)。
               在文件最后添加如下内容：

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

         3.3. 保存退出，测试是否hadoop环境是否配置成功。 

##让修改后的 /etc/profile 文件生效
[sspu@hadoop3 hadoop-3.2.2]$ source /etc/profile
##测试hadoop环境
[sspu@