Flink历史服务器

        回想一下，在实际线上开发flink任务时，是否存在这样的需求：flink实时任务掉线了，此时我们再去查看yarn的web页面最多也只能查看JobManager 的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics 监控，那么很遗憾这些信息就丢失了，对我们分析flink任务出现的bug，异常退出的原因很不友好，此时flink的HistoryServer出现了。

1.在HDFS上创建日志归档目录

hdfs dfs -mkdir /flink-history-logs

2.在 flink-config.yaml中添加如下配置

jobmanager.archive.fs.dir: hdfs://hdfs-cluster/flink-history-logs historyserver.web.address: hadoop11 historyserver.web.port: 8082 historyserver.archive.fs.dir: hdfs://hdfs-cluster/flink-history-logs historyserver.archive.fs.refresh-interval: 5000

3.启动、关闭历史服务器

historyserver.sh start

historyserver.sh stop

开启进程：

jps查看进程：出现historyserver说明历史服务安装成功

在浏览器地址栏输入：http://hadoop11:8082 查看已经停止的 job 的统计信息