完全分布式集群配置

完全分布式集群配置

1 集群部署规划

2.配置集群

以下操作都使用dev1账户

（1）HDFS配置文件
配置hadoop-env.sh

 vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

（2）核心配置文件
配置core-site.xml

 vim core-site.xml

在该文件中编写如下配置

<!-- 指定HDFS中NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
      <value>hdfs://hadoop102:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

（3）配置hdfs-site.xml

vim hdfs-site.xml

在该文件中编写如下配置

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop104:50090</value>
</property>

（4）YARN配置文件
配置yarn-env.sh

vim yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

 vim yarn-site.xml

在该文件中增加如下配置

<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
</property>

（5）MapReduce配置文件
配置mapred-env.sh

vim mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

在该文件中增加如下配置

<!-- 指定MR运行在Yarn上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

3．在集群上分发配置好的Hadoop配置文件

Mysync /opt/module/hadoop-2.7.2/

4．查看文件分发情况

cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml