Flink历史服务器

Flink历史服务器

Flink有一个历史记录服务器，可用于在关闭相应的Flink群集后查询已完成作业的统计信息。

此外，它公开了一个REST API，它接受HTTP请求并使用JSON数据进行响应。

概述

HistoryServer允许查询已由JobManager归档的已完成作业的状态和统计信息。

配置HistoryServer 和 JobManager后，可以通过相应的启动脚本启动和停止HistoryServer：

# Start or stop the HistoryServerbin/historyserver.sh (start|start-foreground|stop)

配置键jobmanager.archive.fs.dir,historyserver.archive.fs.refresh-interval需要进行调整以存档和显示存档的作业。

JobManager

已完成作业的归档发生在JobManager上，JobManager将归档的作业信息上载到文件系统目录。可以flink-conf.yaml通过设置目录来配置目录以存档已完成的作业jobmanager.archive.fs.dir。

# Directory to upload completed job informationjobmanager.archive.fs.dir: hdfs:///completed-jobs

HistoryServer

可以将HistoryServer配置为监视via中以逗号分隔的目录列表historyserver.archive.fs.dir。为新存档定期轮询已配置的目录; 轮询间隔可以通过配置historyserver.archive.fs.refresh-interval。

# Monitor the following directories for completed jobshistoryserver.archive.fs.dir: hdfs:///completed-jobs
# Refresh every 10 secondshistoryserver.archive.fs.refresh-interval: 10000

包含的存档将下载并缓存在本地文件系统中。通过此配置本地目录historyserver.web.tmpdir。