linux搭建hadoop集群(一主两从)

一：事先准备好三台虚拟机或者是docker当中的三台容器，搭建好centos8系统，并命名为master,slave1,slave2作为集群的三个节点。

在三台节点的/etc/hosts文件中添加三台节点之间的ip-域名映射
例如 172.17.0.2 master
172.17.0.3 slave1
172.17.0.4 slave2

二：准备好jdk8以及hadoop2.7.3的安装包。

三：在master节点上，安装jdk

#切换到jdk安装包所在路径
tar -zxvf jdk安装包 -C 解压路径
#配置环境变量
vi ~/.bashrc 或者 vi /etc/profile
export JAVA_HOME=jdk安装路径
export PATH=$PATH:$JAVA_HOME/bin:
source ~/.bashrc 或 source /etc/profile
#测试jdk是否安装成功以及环境变量是否生效
java -version #若有版本信息打印则表示成功

四：在master上将安装好的jdk发送给slave1、slave2节点

scp -r jdk安装路径 root@slave1（slave2）:与master相同的jdk路径

五：在master上安装hadoop
1.解压安装包

#解压hadoop，切换到hadoop安装包所在路径
tar -zxvf hadoop安装包 -C 安装路径
#配置hadoop环境变量
vi ~/.bashrc
export HADOOP_HOME=hadoop安装路径
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc
hadoop -version #测试环境变量是否指定成功

2.修改配置文件core-site.xml

cd $HADOOP_HOME/etc/hadoop
vi core-site.xml
#添加如下内容
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>