Hadoop集群搭建知识点和添加从节点操作

1.Hadoop集群搭建知识

(具体相关搭建步骤可参考Hadoop入门(七)——Hadoop安装（图文详解步骤2021）_Leokadia Rothschild的博客-CSDN博客_hadoop 安装 这里面十分全面，我这里不做具体的操作了，而是整理集群搭建的大概所需步骤）

 

1.在虚拟机上安装centos7，先建立一台名为hadoop100的虚拟机，进行vmware虚拟网络设置、window10的地址配置、配置hadoop100的ip地址为192.168.10.102，设置主机名、host映射，最后查看网络是否能够ping通。

2.将hadoop100克隆出三台一样的虚拟机，分布为hadoop102（192.168.10.102）、hadoop103（192.168.10.103）、hadoop104(192.168.10.104)

3.对三台克隆机的主机名进行修改， vim /etc/hostname（改为hadoop100、hadoop102、hadoop103、hadoop104）

4.Host映射（3台） vim /etc/hosts

5.防火墙关闭（3台）

systemctl stop firewalld.service    #关闭防火墙

systemctl disable firewalld.service  #禁止防火墙开启自启

6.jdk的安装和配置其环境变量

（上传安装包、解压安装包）

解压jdk：tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/module/

配置环境变量：sudo vim /etc/profile.d/my_env.sh

内容如下：

#JAVA_HOME 
export JAVA_HOME=/opt/module/jdk1.8.0_212 
export PATH=$PATH:$JAVA_HOME/bin 

环境变量生效：source /etc/profile

最后测试jdk是否安装成功，分别执行java和java -version

7.hadoop的安装和配置其环境变量

ll /opt/module/hadoop-3.1.4安装包和jdk1.8.0_181安装包存放的位置；上传安装包