Hadoop集群配置

一、配置Hadoop集群主节点

1. 修改hadoop-env.sh文件

   先进入到主节点hadoop01解压包etc/hadoop/目录，使用vi hadoop-env.sh指令打开hadoop-env.sh文件，找到JAVA_HOME参数位置，进入如下修改：
   

   export JAVA_HOME=/export/servers/jdk
   

2. 修改core-site.xml文件

   该文件是Hadoop核心配置文件，其目的是配置HDFS地址、端口号，以及临时文件目录。使用vi core-site.xml打开文件，配置内容如下

   <configuration>
           <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://hadoop01:9000</value>
            </property>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/export/servers/hadoop-2.9.1/tmp</value>
              </property>
   </configuration>
   

3. 修改hdfs-site.xml文件

   主要是设置namenode和datanode进程，使用vi hdfs-site.xml指令打开该配置文件，配置内容如下：
   

   <configuration>
           <property>
                   <name>dfs.replication</name>
                   <value>3</value>
            </property>
            <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>hadoop02:50090</value>
              </property>
   </configuration>
   

4. 修改mapred-site.xml文件

   该文件是MapReduce的核心配置文件，用于指定MapReduce运行时的框架，需要先通过cp mapred-site.xml.template mapred-site.xml命令将文件复制并重命名为mapred-site.xml。接着，使用vi mapred-site.xml指令打开mapred-site.xml文件进行修改，添加如下配置内容：

   <configuration>
           <property>
                   <name>mapreduce.framework.name</name>
                   <value>yarn</value>
            </property>
   </configuration>
   

5. 编写yarn-site.xml文件

   本文件是YARN框架的核心配置文件，需要指定YARN集群管理者，使用vi yarn-site.xml指令打开该配置文件进行修改，添加如下配置内容：

   <configuration>
           <property>
                   <name>yarn.resourcemanager.hostname</name>
                   <value>hadoop01</value>
            </property>
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
              </property>
   </configuration>
   

6. 修改slaves文件

   该文件用于记录Hadoop集群所有从节点的主机名使用vi slaves指令打开该配置文件进行修改，添加如下配置内容：
   

   hadoop01
   hadoop02
   hadoop03
   

7. 将配置文件发往各子节点，用scp命令如下：

   scp /etc/profile hadoop02:/etc/profile
   scp /etc/profile hadoop03:/etc/profile
   scp -r /export/ hadoop02:/
   scp -r /export/ hadoop03:/
   

8. 发送完配置文件后，要去相应的子节点进行更新，指令如下：
   

   source /etc/profile
   

   持续更新中......(每天10：24准时推送，查看更多内容请在菜单栏点击大数据技术)