大数据技术之hadoop——（四）历史服务器+常用脚本

文章目录

前言

一、配置历史服务器

二、日志聚集

三、集群的停止与启动

四、常用脚本

五、常用端口号

前言

上一篇我们已经将hadoop完全分布式集群搭建完毕，这一篇则作为完全分布式集群的补全操作

---

一、配置历史服务器

为了查看程序的历史运行情况需要配置历史服务器

【1】在mapred-site.xml文件中添加以下内容：

<!-- 历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop02:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop02:19888</value>
</property>

【2】分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

【3】在hadoop02中启动历史服务器

来到hadoop目录下

bin/mapred --daemon start historyserver

【4】查看历史服务器是否启动 jps命令

【5】在web端查看jobhistoryhttp://hadoop02:19888/jobhistory

二、日志聚集

日志聚集：应用在运行完成之后将运行的日志信息上传到hdfs系统上

好处：方便查看程序的运行详情

注意：开启日志聚集功能需要重启NodeManager、ResourceManager和HistoryServer

【1】配置yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
 <name>yarn.log.server.url</name> 
 <value>http://hadoop02:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>

【2】分发配置文件

【3】关闭nodemanager、resourcemanager、historyserver

sbin/stop-yarn.sh
bin/mapred --daemon stop historyserver

【4】启动nodemanager、resourcemanager、historyserver

sbin/start-yarn.sh
mapred --daemon start historyserver

---

三、集群的停止与启动

【1】各个模块分开启动停止(配置ssh是前提)

整体启动停止hdfs：start/stop-dfs.sh/

整体启动停止yarn：start/stop-yarn.sh/

【2】各个服务组件逐一启动停止

分别启动停止hdfs组件：hdfs --daemon strat/stop namenode/datanode/secondarynamenode

启动停止yarn：yarn --daemon start/stop resourcemanager/nodemanager

---

四、常用脚本

【1】集群启动脚本

第一步：cd /home/zhou/bin

第二步：vim myhadoop.sh (名字自定义)

第三步：修改成可执行权限 chmon 777 myhadoop.sh

#/bin/bash

if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh hadoop02 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
ssh hadoop03 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh hadoop02 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh hadoop02 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh hadoop03 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh hadoop02 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
 echo "Input Args Error..."
;;
esac

【2】jps脚本 查看三台服务器的jps情况

第一步：cd /home/zhou/bin

第二步：vim jpsall.sh (名字自定义)

第三步：修改成可执行权限 chmon 777 jpsall.sh

#!/bin/bash
for host in hadoop02 hadoop03 hadoop04
do
 echo =============== $host ===============
 ssh $host jps 
done

【3】测试脚本

五、常用端口号

hadoop3.x

1. HDFS NameNode 内部通用端口：8020/9000/9820

2. HDFS NameNode 对用户的查询端口：9870 即web端访问端口号

3. YARN查看任务运行情况：8088

4. 历史服务器：19888

hadoop2.x

1. HDFS NameNode 内部通用端口：8020/9000

2. HDFS NameNode 对用户的查询端口：50070

3. YARN查看任务运行情况：8088

4. 历史服务器：19888