Hadoop的集群配置

Hadoop集群配置

• 第一步：vi etc/hadoop/hdfs-site.xml //配置hdfs-site.xml文件

<configuration>
        <property>
                <name>dfs.replication</name>
                #修改集群数量
				<value>3</value> 
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                #设置助理服务器ip地址
				<value>IP地址:50090</value>  
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/opt/hadoop/tmp/data/namenode</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/opt/hadoop/tmp/data/datanode</value>
        </property>
</configuration>

-第二步： vi etc/hadoop/core-site.xml //配置core-site.xml文件

<configuration>
        <property>
                <name>fs.defaultFS</name>
                #主节点IP地址
                <value>hdfs://IP地址:9000</value>
        </property>
          <property>
                <name>hadoop.tmp.dir</name>
                <value>opt/hadoop/tmp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

• 第三步：vi etc/hadoop/core-site.xml //配置mapred-site.xml文件

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
		#选择历史服务服务器
        <value>IP地址:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        #设置yarn的启动服务器
		<value>192.168.95.103:19888</value>
</property>

• 第四步：vi etc/hadoop/yarn-site.xml //配置yarn-site.xml文件

<configuration>
<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    #设置resourcemanager服务启动服务器
    <value>节点名</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

• 第五步：vi etc/hadoop/slaves //添加集群主机名

#根据自己的实际节点主机名来添加
hadoop001
hadoop002
hadoop003

• 第六步：将配置好的文件发送至集群服务器
  执行命令：scp [文件路径] [root@主机名]:&PWD[复制路径]

#将etc/hadoop下的所有xml文件复制到root@主机名的相同路径下
scp etc/hadoop/*.xml root@主机名:$PWD/etc/hadoop/
#将slaves复制到root@主机名相同路径下
scp etc/hadoop/slaves root@主机名:$PWD/etc/hadoop/

• 第七步：删除logs、tmp文件

rm -rf logs/
rm -rf tmp/

• 第八步：hadoop namenode -format //格式化
• 第九步：start-all.sh //启动hadoop