Hadoop集群搭建

Hadoop集群主要配置文件：

配置文件	功能描述
hadoop-env.sh	配置Hadoop运行所需的环境变量
yarn-env.sh	配置Yarn运行所需的环境变量
core-site.xml	Hadoop核心全局配置文件，可在其他配置文件中引用
hdfs-site.xml	HDFS配置文件，继承core-site.xml配置文件
mapred-site.xml	MapReduce配置文件，继承core-site.xml配置文件
yarn-site.xml	Yarn配置文件，继承core-site.xml配置文件

1、配置Hadoop集群主节点：

得到：

cd /erport/servers/hadoop-3.3.1/etc/hadoop

（1）修改hadoop-env.sh文件：

vi /erport/servers/hadoop-3.3.1/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/erport/servers/jdk

（2）修改core-site.xml文件：

vi /erport/servers/hadoop-3.3.1/etc/hadoop/core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
	<value>hdfs://hadoop01:9000</value>
        </property>
       <property>
                <name>hadoop.tmp.dir</name>
                <value>/erport/servers/hadoop-3.3.1/tmp</value>
        </property>
</configuration>

（3）修改hdfs-site.xml文件：

vi /erport/servers/hadoop-3.3.1/etc/hadoop/hdfs-site.xml

<configuration>
         <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop02:50090</value>
        </property>
</configuration>

（4）修改mapred-site.xml文件：

vi /erport/servers/hadoop-3.3.1/etc/hadoop/mapred-site.xml

<configuration>
<!-- 指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

（5）修改yarn-site.xml文件：

vi /erport/servers/hadoop-3.3.1/etc/hadoop/yarn-site.xml

<configuration>
       <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
   <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

（6）修改slaves文件。打开该配置文件，先删除里面的内容（默认localhost），然后配置如下内容。

vi /erport/servers/hadoop-3.3.1/etc/hadoop/slaves

hadoop01
hadoop02
hadoop03

2、将集群主节点的配置文件分发到其他子节点。

完成Hadoop集群主节点hadoop01的配置后，还需要将系统环境配置文件、JDK安装目录和Hadoop安装目录分发到其他子节点hadoop02和hadoop03上，具体指令：
 

scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /erport/ hadoop02:/
scp -r /erport/ hadoop03:/

特此声明：以上来自{浮屠}葛一帆，请勿抄袭哦！！！