Hadoop集群配置
- 第一步:vi etc/hadoop/hdfs-site.xml //配置hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
#修改集群数量
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
#设置助理服务器ip地址
<value>IP地址:50090</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/tmp/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/tmp/data/datanode</value>
</property>
</configuration>
-第二步: vi etc/hadoop/core-site.xml //配置core-site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
#主节点IP地址
<value>hdfs://IP地址:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>opt/hadoop/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
- 第三步:vi etc/hadoop/core-site.xml //配置mapred-site.xml文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
#选择历史服务服务器
<value>IP地址:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
#设置yarn的启动服务器
<value>192.168.95.103:19888</value>
</property>
- 第四步:vi etc/hadoop/yarn-site.xml //配置yarn-site.xml文件
<configuration>
<!-- reducer获取数据方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
#设置resourcemanager服务启动服务器
<value>节点名</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
- 第五步:vi etc/hadoop/slaves //添加集群主机名
#根据自己的实际节点主机名来添加
hadoop001
hadoop002
hadoop003
- 第六步:将配置好的文件发送至集群服务器
执行命令:scp [文件路径] [root@主机名]:&PWD[复制路径]
#将etc/hadoop下的所有xml文件复制到root@主机名的相同路径下
scp etc/hadoop/*.xml root@主机名:$PWD/etc/hadoop/
#将slaves复制到root@主机名相同路径下
scp etc/hadoop/slaves root@主机名:$PWD/etc/hadoop/
- 第七步:删除logs、tmp文件
rm -rf logs/
rm -rf tmp/
- 第八步:hadoop namenode -format //格式化
- 第九步:start-all.sh //启动hadoop