Hadoop（1）——Hadoop集群构建（8）——Hadoop集群配置

可以通过查看目录，来看每一个主要步骤。

主要配置文件：

一. 配置Hadoop集群主节点

1. 修改hadoop-env.sh文件

1.1 进入Hadoop配置文件目录

输入： cd /export/servers/
输入： cd hadoop-2.7.4/
输入：  ls

输入：cd etc/hadoop/

输入： ls

1.2打开hadoop-env.sh文件

输入：vi hadoop-env.sh

找到JAVA_HOME这个配置信息

 

 1.3修改JAVA_HOME的路径

框框内改为：export JAVA_HOME=/export/servers/jdk

 2.修改core-site.xml文件

指定Hadoop文件系统类型为hdfs，主节点为hadoop01，访问端为9000

指定hadoop临时文件目录

2.1进入core-site.xml文件

输入：vi core-site.xml

 2.2找到configuration标签

 2.3添加内容

添加以下内容

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://hadoop01:9000</value>

         </property>

         <property>

                  <name>hadoop.tmp.dir</name>

                  <value>/export/servers/hadoop-2.7.4/tmp</value>                

          </property>

</configuration>

 

 3. 修改hdfs-site.xml文件

指定三个副本，指定secondary的虚拟机和端口

3.1进入hdfs-site.xml

输入： vi hdfs-site.xml

3.2找到标签

3.3修改标签

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>3</value>

         </property>

         <property>

                  <name>dfs.namenode.secondary.http-address</name>

                  <value>hadoop02:50090</value>                

          </property>

</configuration>

 4. 修改mapred-site.xml文件

指定MapReduce运行框架

4.1拷贝mapred-site.xml文件

输入： cp mapred-site.xml.template mapred-site.xml

4.2打开mapred-site.xml文件

输入： vi mapred-site.xml

 找到configuration

4.3修改参数

<configuration>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

         </property>
</configuration>

 

5.修改yarn-site.xml文件

指定yarn的主机

5.1进入yarn-site.xml

输入： vi yarn-site.xml

5.2找到标签并修改

<configuration>

        <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>hadoop01</value>

         </property>

         <property>

                  <name>yarn.nodemanager.aux-services</name>

                  <value>mapreduce_shuffle</value>                

          </property>

</configuration>

 

 6修改slaves文件

指定从节点

6.1打开slaves这个文件

输入： vi slaves

6.2修改内容

把里面的localhost替换成：

hadoop01 hadoop02 hadoop03 

二、将集群主节点的配置文件分发到其他子节点

注意：在做这一步的时候如果出现了错误：ssh: connect to host hadoop02 port 22: No route to host
lost connection

先看以下你的hadoop02、hadoop03有没有开机

1. 将文件远程复制到其他两台虚拟机hadoop02、hadoop03

输入：scp /etc/profile hadoop03:/etc/profile

输入：scp /etc/profile hadoop02:/etc/profile

 2.分发hadoop目录

把export整个目录复制给其他两台虚拟机

输入：scp -r /export/ hadoop02:/

等待加载完成后

输入：scp -r /export/ hadoop03:/

三、使文件生效

1.在hadoop02中执行：source /etc/profile

 

2.在hadoop03中执行：source /etc/profile

 至此，hadoop配置完成。