文章目录
前言
上一篇我们已经将hadoop完全分布式集群搭建完毕,这一篇则作为完全分布式集群的补全操作
一、配置历史服务器
为了查看程序的历史运行情况需要配置历史服务器
【1】在mapred-site.xml文件中添加以下内容:
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop02:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop02:19888</value>
</property>
【2】分发配置
xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
【3】在hadoop02中启动历史服务器
来到hadoop目录下
bin/mapred --daemon start historyserver
【4】查看历史服务器是否启动 jps命令
【5】在web端查看jobhistoryhttp://hadoop02:19888/jobhistory
二、日志聚集
日志聚集:应用在运行完成之后将运行的日志信息上传到hdfs系统上
好处:方便查看程序的运行详情
注意:开启日志聚集功能需要重启NodeManager、ResourceManager和HistoryServer
【1】配置yarn-site.xml
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop02:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
【2】分发配置文件
【3】关闭nodemanager、resourcemanager、historyserver
sbin/stop-yarn.sh
bin/mapred --daemon stop historyserver
【4】启动nodemanager、resourcemanager、historyserver
sbin/start-yarn.sh
mapred --daemon start historyserver
三、集群的停止与启动
【1】各个模块分开启动停止(配置ssh是前提)
整体启动停止hdfs:start/stop-dfs.sh/
整体启动停止yarn:start/stop-yarn.sh/
【2】各个服务组件逐一启动停止
分别启动停止hdfs组件:hdfs --daemon strat/stop namenode/datanode/secondarynamenode
启动停止yarn:yarn --daemon start/stop resourcemanager/nodemanager
四、常用脚本
【1】集群启动脚本
第一步:cd /home/zhou/bin
第二步:vim myhadoop.sh (名字自定义)
第三步:修改成可执行权限 chmon 777 myhadoop.sh
#/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop 集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh hadoop02 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh hadoop03 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh hadoop02 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop 集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh hadoop02 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh hadoop03 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh hadoop02 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac
【2】jps脚本 查看三台服务器的jps情况
第一步:cd /home/zhou/bin
第二步:vim jpsall.sh (名字自定义)
第三步:修改成可执行权限 chmon 777 jpsall.sh
#!/bin/bash
for host in hadoop02 hadoop03 hadoop04
do
echo =============== $host ===============
ssh $host jps
done
【3】测试脚本
五、常用端口号
hadoop3.x
-
HDFS NameNode 内部通用端口:8020/9000/9820
-
HDFS NameNode 对用户的查询端口:9870 即web端访问端口号
-
YARN查看任务运行情况:8088
-
历史服务器:19888
hadoop2.x
-
HDFS NameNode 内部通用端口:8020/9000
-
HDFS NameNode 对用户的查询端口:50070
-
YARN查看任务运行情况:8088
-
历史服务器:19888