Hadoop集群搭建——环境配置

一、集群搭建注意问题说明

1、此处集群环境搭建我使用了三台主机进行模拟，分别为：

hadoop-series.bxp.com
hadoop-series1.bxp.com
hadoop-series2.bxp.com

2、集群搭建前需要注意的问题：

（1）集群中的节点的用户名登陆名和密码应当保持一致。
（2）hadoop和jdk的安装目录应当保持一致。

以上保持一致不是必须的，只是为了防止环境搭建过程中的不必要的麻烦。

二、主机节点配置

1、修改主机名：

（1）临时修改

hostname  hadoop-series.bxp.com

此方法可以直接生效，但是电脑重启后将会失效。电脑重启将会读取配置文件。

（2）修改配置文件/etc/hostname，填写你的主机名

hadoop-series.bxp.com

使用以上的方法分别将三台的主机的主机名修改为:

hadoop-series.bxp.com
hadoop-series1.bxp.com
hadoop-series2.bxp.com

2、修改/etc/hosts文件，配置主机名到IP地址的映射。

192.168.1.103 hadoop-series.bxp.com hadoop-series
192.168.1.133 hadoop-series1.bxp.com hadoop-series1
192.168.1.135 hadoop-series2.bxp.com hadoop-series2

三、集群搭建

1、分析集群分布

为了提高集群的高可用性，把NameNode，ResourceManager，SecondaryNamenode分别方式在不同的机器上，最终分布如下：

条目	主机1	主机2	主机3
HDFS	NameNode, DataNode	DataNode	DataNode, SecondaryNameNode
YARN	NodeManager	ResourceManager, NodeManager	NodeManager
MapReduce	JobHistoryServer

2、根据上述节点非配结果进行配置节点分布，配置各个文件：

（1）hdfs相关配置

hadoop-env.sh（配置hdfs运行环境）：

JAVA_HOME=/home/bxp/Documents/install/jdk1.8.0_131

core-site.xml（配置namenode所在主机）：

<configuration>
    <!--namenode所在主机-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-series.bxp.com:8020</value>
    </property>
    <!--临时目录-->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/bxp/Documents/install/hadoop-2.6.5/data/tmp</value>
        </property>
    <!--垃圾回收-->
    <property>
            <name>fs.trash.interval</name>
            <value>420</value>
        </property>
</configuration>

hdfs-site.xml（配置secondNameNode所在主机）：

<configuration>
    <!-- 副本数量不需要进行控制，默认就可以-->
    <!--    
    <property>
             <name>dfs.replication</name>
            <value>1</value>
        </property>
    -->
    <!-- secondaryNamenode放在第hadoop-series2.bxp.com上-->
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop-series2.bxp.com:50070</value>
    </property>
</configuration>

slaves（配置dataNode所在主机）：

hadoop-series.bxp.com
hadoop-series1.bxp.com
hadoop-series2.bxp.com

（2）YARN相关配置

yarn-env.sh（配置yarn运行环境）：

JAVA_HOME=/home/bxp/Documents/install/jdk1.8.0_131

yarn-site.xml（配置resouceManager所在主机）：

<configuration>
 <property>
         <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
     </property>

    <!--配置ResourceManager在hadoop-series1.bxp.com上-->
    <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>hadoop-series1.bxp.com</value>
    </property>

    <!--配置日志聚集-->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!--配置日志在文件系统中存放的秒数（604800为7天）-->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>

slaves（配置NodeManager）：

hadoop-series.bxp.com
hadoop-series1.bxp.com
hadoop-series2.bxp.com

（3） MapReduce相关配置

mapred-env.sh（配置mapreduce运行环境）：

JAVA_HOME=/home/bxp/Documents/install/jdk1.8.0_131

mapred-site.xml（配置JobHistoryServer所在主机）：

<configuration>
    <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
    </property>
    <!--配置job-history-->
    <property>
             <name>mapreduce.jobhistory.address</name>
             <value>hadoop-series1.bxp.com:10020</value>
    </property>
    <property>           <name>mapreduce.jobhistory.webapp.address</name>
             <value>hadoop-series1.bxp.com:19888</value>
    </property>
</configuration>

四、配置节点间的无密钥登陆

配置namenode节点和ResourceManager节点到其他节点的无密钥登陆。

此处配置无密钥登陆可以查看这里——>SSH无密钥登陆 与 配置公钥后仍需要输入密码的解决方案

五、分发已经配置好的hadoop安装包到其他各个节点

scp -r /home/bxp/hadoop  hadoop-series1.bxp.com:/home/bxp
scp -r /home/bxp/hadoop  hadoop-series2.bxp.com:/home/bxp

到这里集群搭建集群搭建的配置已经完毕了，如果想进行一些操作去测试集群的搭建是否成功，可以查看Hadoop启动模式，基本配置，启动方式。