Flink实战——历史服务器配置

目录

一、引言

1.1 历史服务器的作用

1.2 本文目标

二、配置过程

2.1 创建归档目录

2.2 修改配置文件

三、历史服务器的启动与关闭

四、成功样式

一、引言

1.1 历史服务器的作用

        能在Flink集群关闭后,查询已完成作业的统计信息。通过还原Web UI发现和定位相关问题。同时,对外提供REST API,接受HTTP请求并使用JSON数据进行响应。

1.2 本文目标

        本文主要在Flink1.17版本的基础上,配置历史服务器。读者在展开下文配置之前,首先确保已经部署了Flink1.17版本,同时对Yarn运行模式进行了相应配置,若读者尚未配置相关内容,可以查看Flink实战——集群搭建Flink实战——Yarn运行模式部署进行相关内容的配置。

二、配置过程

2.1 创建归档目录

        首先,采用如下的Linux命令,在HDFS上创建一个归档目录,用于存储相关的历史信息。其中,红色标注的目录位置,读者可以自行设定。

[root@hadoop00 ~] $ hadoop fs -mkdir -p /logs/flink-job

2.2 修改配置文件

        其次,找到Flink安装包的conf目录位置处(作者的目录位置为/opt/module/flink1.17/conf),找到flink-conf.yaml配置文件,如下图1红色框住部分所示情况。

图1 flink-conf.yaml配置文件样式

        进入到flink-conf.yaml配置文件,找到HistoryServer所在位置,如下图2所示情况。

图2 HistoryServer位置

        并依次按照下图3所示内容进行相关的配置,其中namenode路径,hdfs设置的日志路径,历史服务器的Web页面以及历史服务器的归档位置,读者需根据个人的Hadoop配置情况进行设定

图3 具体配置信息图

        配置完成后,保存退出文件即可。 

三、历史服务器的启动与关闭

        完成相关配置后,可以采用如下的Linux命令对历史服务器进行开启和关闭

1.历史服务器的开启

[root@hadoop00 ~] $ bin/historyserver.sh start
 

2.历史服务器的关闭

[root@hadoop00 ~] $ bin/historyserver.sh stop

四、成功样式

        在浏览器中,采用历史服务器的Web页面:端口(如本文是hadoop:8082)的方式,查看是否成功配置历史服务器,若页面非报错则历史服务器配置成功,否则反之。

  • 5
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值