Hadoop(02) Hadoop-3.3.6 集群的配置教程

当使用Hadoop的分布式模式进行部署和运行时，通常使用分布式文件系统HDFS进行存储。在这种情况下，HDFS的名称节点（NameNode）和数据节点（DataNode）位于不同的机器上。这样，数据可以分布在多个节点上，不同数据节点上的数据计算可以并行执行，这样才能更好的实现MapReduce分布式计算的能力。

为了简化分布式模式的部署难度，我们可以使用两个节点（两台物理机器）来搭建一个简单的集群环境。为了便于区分，我们将其中一台机器将作为Master节点，其主机名命名为hadoop01；另一台机器将作为Slave节点，其主机名命名为hadoop02。如果需要构建由三个以上节点组成的集群，可以采用类似的方法进行安装和部署。

Hadoop 集群的安装配置大致包括以下步骤：
步骤1：选定一台机器作为 Master；
步骤2：在Master节点上创建hadoop用户、安装SSH服务端、安装Java环境；
步骤3：在Master节点上安装Hadoop，并完成配置；
步骤4：在其他Slave节点上创建hadoop用户、安装SSH服务端、安装Java环境；
步骤5：将Master节点上的“/usr/local/hadoop-3.3.6”目录复制到其他Slave节点上；
步骤6：在Master节点上开启Hadoop；

上述这些步骤中，关于如何创建hadoop用户、安装SSH服务端、安装Java环境、安装Hadoop等过程，已经在前面介绍Hadoop3.3.6安装教程，单机/伪分布式配置的时候做了详细介绍，请按照之前介绍的方法完成步骤1到步骤4，这里不再赘述。在完成步骤1到步骤4的操作以后，才可以继续进行下面的操作。

一、安装虚拟机

请参照教程“Linux(01)虚拟机VMware Workstation17安装Debian11系统详细教程并配置root用户远程SSH登录_Eufeo的博客-CSDN博客”，安装好2个Linux虚拟机，主机名分别是hadoop01和hadoop02。由于hadoop02是Slave节点，不需要安装很多的软件，所以，配置可以比hadoop01低一，比如，对于hadoop02而言，内存只需要配置4GB，磁盘只需要配置20GB。

可以使用：

free -h  # 查看内存的使用情况和配置
df -h  # 查看硬盘的使用情况和配置

二、配置JDK和安装hadoop-3.3.6 

安装好虚拟机hadoop02以后，首先创建hadoop用户，其次安装java环境并配置jdk，再次使用hadoop用户登录Linux系统，安装SSH服务端，并安装hadoop-3.3.6。请参考教程“Hadoop(01) Hadoop3.3.6安装教程，单机/伪分布式配置-CSDN博客”。 

配置好JDK后，可以使用命令：echo $JAVA_HOME 查看当前系统中设置的JAVA_HOME环境变量的值。

配置好hadoop后，可以使用命令：echo $HADOOP_HOME  查看当前系统中设置的HADOOP_HOME环境变量的值。

三、网络设置

由于集群中有两台机器需要设置，所以，在接下来的操作中，一定要注意区分Master节点和Slave节点。为了便于区分Master节点和Slave节点，可以修改各个节点的主机名，这样，在Linux系统中打开一个终端以后，在终端窗口的标题和命令行中都可以看到主机名，就比较容易区分当前是对哪台机器进行操作。

3.1 修改mater和slave的主机名

在Debian中，我们在 Master 节点（hadoop01）上执行如下命令修改主机名：

sudo vim /etc/hostname

 执行上面命令后，就打开了“/etc/hostname”这个文件，这个文件里面记录了主机名.因此，打开这个文件以后，里面就只有“debian”这一行内容，可以直接删除，并修改为“hadoop01”（注意是区分大小写的），然后，保存退出vim编辑器，这样就完成了主机名的修改，需要重启Linux系统才能看到主机名的变化。
要注意观察主机名修改前后的变化。在修改主机名之前，如果用hadoop登录Linux系统，打开终端，进入Shell命令提示符状态，会显示如下内容：

修改主机名并且重启Linux系统之后，用hadoop登录Linux系统，打开终端，进入Shell命令提示符状态，会显示如下内容：

可以看出，这时就很容易辨认出当前是处于Master节点（hadoop01）上进行操作，不会和Slave节点（hadoop02）产生混淆。
同理，按照相同的方法，把虚拟机hadoop02中的主机名修改为“hadoop02”，并重启Linux系统。

3.2 配置映射关系 

然后，使用ifconfig命令获取每台虚拟机的IP地址，具体命令如下：

sudo apt-get update
sudo apt-get install net-tools
ifconfig

如下图是slave01的IP地址 

 然后，在hadoop01中（即master节点），执行如下命令打开并修改Master节点中的“/etc/hosts”文件：

vim /etc/hosts

可以在master节点的hosts文件中增加如下两条IP和主机名映射关系，同时将debian修改成新的主机名：

 需要注意的是，一般hosts文件中只能有一个127.0.0.1，其对应主机名为l