Hadoop从入门到入土（第六天）

（今天重开在配置ssh免密登录时遇到一个问题：cd .ssh 报错没有这个文件，解决办法是：在当前目录输入：ssh localhost)

---

目录

一、集群崩溃处理办法

二、历史服务器配置

三、日志聚焦功能设置

---

一、集群崩溃处理办法

第一步：cd /opt/module/hadoop-3.1.3/>ll>jps>sbin/stop-dfs.sh(杀死进程）>jps（102、103、104）>ll

第二步：删除data和logs(rm -rf data/ logs/) (102、103、104）

第三步：格式化：hdfs namenode -format

第四步：启动集群：sbin/start -dfs.sh >jps

二、历史服务器配置

hadoop102中、hadoop目录下：ll>cd etc/hadoop/>vim mapred-site.xml>粘贴

<!-- 历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop102:19888</value>
</property>

>xsync mapred-site.xml(纷发给103和104）>cd ..>cd ..>ll>jps>sbin/start-yarn.sh>jps(里面会多一个进程：JobHistoryServer)>hadoop fs mkdir /input>hadoop fs -put wcinput/word.txt /input >ll>hadoop jar share/hadoop/mareduce/hadoop-mapreduce-examples-3.1.3.jar wordcout /input /output

三、日志聚焦功能设置

102.hadoop文件下：cd etc/hadoop/>vim yarn-site.xml >粘贴

<!-- 开启日志聚集功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
 <name>yarn.log.server.url</name> 
 <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>

xsync yarn-site.xml>cd /opt/module/hadoop……/>jps>mapred --daemon stop historyserver>sbin/stop-yarn.sh>sbin/start-yarn.sh>jps>mapred --daemom start historyserver>hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3 jar workcount /input /outputr

今日份学习笔记：