Flink实战——历史服务器配置

目录

一、引言

1.1 历史服务器的作用

1.2 本文目标

二、配置过程

2.1 创建归档目录

2.2 修改配置文件

三、历史服务器的启动与关闭

四、成功样式

一、引言

1.1 历史服务器的作用

        能在Flink集群关闭后，查询已完成作业的统计信息。通过还原Web UI发现和定位相关问题。同时，对外提供REST API，接受HTTP请求并使用JSON数据进行响应。

1.2 本文目标

        本文主要在Flink1.17版本的基础上，配置历史服务器。读者在展开下文配置之前，首先确保已经部署了Flink1.17版本，同时对Yarn运行模式进行了相应配置，若读者尚未配置相关内容，可以查看Flink实战——集群搭建和Flink实战——Yarn运行模式部署进行相关内容的配置。

二、配置过程

2.1 创建归档目录

        首先，采用如下的Linux命令，在HDFS上创建一个归档目录，用于存储相关的历史信息。其中，红色标注的目录位置，读者可以自行设定。

[root@hadoop00 ~] $ hadoop fs -mkdir -p /logs/flink-job

2.2 修改配置文件

        其次，找到Flink安装包的conf目录位置处(作者的目录位置为/opt/module/flink1.17/conf)，找到flink-conf.yaml配置文件，如下图1红色框住部分所示情况。

图1 flink-conf.yaml配置文件样式

        进入到flink-conf.yaml配置文件，找到HistoryServer所在位置，如下图2所示情况。

图2 HistoryServer位置

        并依次按照下图3所示内容进行相关的配置，其中namenode路径，hdfs设置的日志路径，历史服务器的Web页面以及历史服务器的归档位置，读者需根据个人的Hadoop配置情况进行设定。

图3 具体配置信息图

        配置完成后，保存退出文件即可。 

三、历史服务器的启动与关闭

        完成相关配置后，可以采用如下的Linux命令对历史服务器进行开启和关闭。

1.历史服务器的开启

[root@hadoop00 ~] $ bin/historyserver.sh start
 

2.历史服务器的关闭

[root@hadoop00 ~] $ bin/historyserver.sh stop

四、成功样式

        在浏览器中，采用历史服务器的Web页面：端口(如本文是hadoop:8082)的方式，查看是否成功配置历史服务器，若页面非报错则历史服务器配置成功，否则反之。