flink实战--HistoryServer配置与应用

阿华田512

已于 2023-06-05 13:46:28 修改

阅读量1.7k

点赞数

分类专栏： Flink学习必读系列文章标签： flink 大数据 java

于 2020-10-15 17:30:26 首次发布

本文链接：https://blog.csdn.net/aA518189/article/details/109100612

版权

Flink学习必读系列专栏收录该内容

67 篇文章 553 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Flink的HistoryServer，它用于保存并展示已完成任务的统计信息，包括异常退出的任务。通过配置flink-conf.yml文件，设置JobManager和HistoryServer的存档目录，并启动HistoryServer，可以方便地查看和分析历史任务的详细信息，包括REST API提供的查询接口。在YARN上，手动kill的任务不会显示在HistoryServer页面上。

摘要由CSDN通过智能技术生成

背景

回想一下，在实际线上开发flink任务时，是否存在这样的需求：flink实时任务掉线了，此时我们再去查看yarn的web页面最多也只能查看JobManager 的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics 监控，那么很遗憾这些信息就丢失了，对我们分析flink任务出现的bug，异常退出的原因很不友好，此时flink的HistoryServer出现了，本文将详细介绍HistoryServer的配置与使用。

HistoryServer

flink任务停止或异常退出后，JobManager会将已经完成任务的统计信息进行存档，历史服务进程则在任务停止后可以对任务统计信息进行查询，并可以展示在web界面上很方便我们去查看已经完成(正常退出/异常退出)的flink任务信息。同时，它对外提供了 REST API，它接受 HTTP 请求并使用 JSON 数据进行响应，并且HistoryServer支持flink集群模式也支持flink on yarn.