Flink历史服务器-History Server

已于 2024-12-03 16:31:10 修改
阅读量865 收藏 3
点赞数 10
分类专栏： 实时计算Flink 文章标签： flink 大数据
于 2024-12-03 13:18:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chanyue123/article/details/144203701
版权

在以session模式提交作业后，我们可以在session集群里查看作业的详细信息，但是假如session集群重启后，则不能再查看到之前作业的信息；或者以yarn application或per-job或k8s application模式提交，都存在一个问题，就是在作业完成后（即Flink集群关闭），无法查看作业信息，为了解决这个问题Flink提供了History Server服务。

Flink有一个历史服务器history server，在相应的Flink集群关闭后，可以使用它来查询已完成任务的统计信息。另外它也对外提供了一些REST API出来供HTTP请求查询。

1. 启动History Server

History Server 允许查询由JobManager归档的已完成作业的状态和统计信息。已完成的作业由JobManager来归档，并上传到指定的文件系统的相应路径下，可以是本地文件系统、HDFS、S3等。History Server 可以周期扫描该路径将归档的Flink作业信息恢复出来，从而可以查看相应Flink作业日志情况。

在配置好HistoryServer和JobManager之后，就可以通过相应的启动脚本来启动和停止History Server了。默认端口号为8082。访问地址：http://hostn

了解本专栏 订阅专栏 解锁全文 超级会员免费看
用了 History Server，妈妈再也不用担心我的 Flink 作业半夜挂了
http://www.54tianzhisheng.cn/
10-15 973
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章前言Flink On YARN 默认作业挂了之后打开的话，是一个如下这样的页面：...
Flink实战——历史服务器配置
m0_46332441的博客
04-11 1224
读者在展开下文配置之前，首先确保已经部署了Flink1.17版本，同时对Yarn运行模式进行了相应配置，若读者尚未配置相关内容，可以查看。其次，找到Flink安装包的conf目录位置处(作者的目录位置为/opt/module/flink1.17/conf)，(如本文是hadoop:8082)的方式，查看是否成功配置历史服务器，若页面非报错则历史服务器配置成功，否则反之。，其中namenode路径，hdfs设置的日志路径，历史服务器的Web页面以及历史服务器的归档位置，首先，采用如下的Linux命令，
Flink on k8s之historyServer
newbrid007的博客
02-05 1332
HistoryServer可以在Flink 作业终止运行（Flink集群关闭）之后，还可以查询已完成作业的统计信息。Flink 任务停止后，JobManager 会将已经完成任务的统计信息进行存档，History Server 进程则在任务停止后可以对任务统计信息进行查询。作业运行中historyserver是没有信息的，作业终止后history service才会查询到相关信息。这里需要挂在Historyserver的pvc，并配置Historyserver的归档路径到pvc挂载路径。
flink实战--HistoryServer配置与应用
阿华田的博客
10-15 1860
背景 回想一下，在实际线上开发flink任务时是否存在这样需求，flink实时任务夜间掉线了，此时我们再去查看yarn的页面最多也只能查看JobManager 的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics监控，那么很遗憾这些信息就丢失了，对我们分析任务出现的bug很不友好，此时flink的HistoryServer出现了，本文将详细介绍HistoryServer的配置与使用。 HistoryServer flink任务停止后，JobMan...
flink配置historyserver
那又怎样？的博客
12-05 4129
flink版本1.9.1 1.编辑flink/conf/flink-conf.yaml ，搜索history，主要编辑如下 #============================================================================== # HistoryServer #======================================...
flink设置historyserver
u010824946的专栏
12-06 1188
可以参考下官网https://ci.apache.org/projects/flink/flink-docs-release-1.8/monitoring/historyserver.html 1：配置conf/flink-conf.yaml文件，修改参数如下： flink job运行完成后的日志存放目录 jobmanager.archive.fs.dir: hdfs://nameservi...
Flink History Server配置
L
07-18 1318
执行如下命令，打开bigdata111服务器flink安装目录下的flink-conf.yaml配置文件。可以选择任意一条服务器作为History Server节点，这里选择bigdata112作为History Server节点。重启以后在History Server web ui页面会显示该Job（JobManager Server依然不显示）。在bigdata112上，执行如下命令启动historyserver。登录如下地址，访问history server的web ui页面。
【Flink】Flink历史记录归档不生效
九师兄
10-06 302
我的是flink-sql客户端，看起来没有生效。猜测需要重启，测试集群重启之后，任务取消确实是写入了。，但是web怎么没展现出来呢？HistoryServer配置好了,取消和完成的作业没有归档到指定目录，查看日志信息也没有报错，有哪位同志知道是怎么回事吗？过了一会发现有了，要等几分钟才出来，可能不是那么及时把。后面验证per-job模式也需要等一会才会出现。可以发现任务后来消失了。
flink1.18.1安装包
05-29
这可以通过修改`$FLINK_HOME/conf/flink-conf.yaml`中的`jobmanager.rpc.address`和`jobmanager.rpc.port`等参数，以及使用`start-history-server.sh`和`start-zookeeper.sh`命令启动历史服务器和ZooKeeper。...
Flink从入门到放弃之入门篇(十一)-Flink History Server(附源码经验分享)
进击吧大数据的博客
02-01 1476
​背景 在我们实际生产开发中，Flink作业通常以per-job的模式提交到yarn集群上运行。当作业结束或因异常退出后，此时无法从yarn web ui上查看具体的日志信息来定位异常问题；如果yarn端未开启日志聚合，yarn logs命令就无法使用了，那么我们也就无法定位问题了。 History Server简介 当相应的Flink Cluster集群down掉后，Flink提供了一个History Server服务可以查询已归档的job，同时也对外提供了接口供用户进行封装获取数据。默认情况下，该
Apache Flink 零基础入门（二十一）Flink HistoryServer概述与配置
vincent_duan的专栏
09-23 1627
之前我们做了Flink的开发，开发完成之后就需要进行监控。 Flink 有一个History Server可以在相关Flink 集群关闭之后，还可以查看一些信息。也就是一些作业运行完成之后，可以用History Server查看运行的统计信息。同时，还暴露了一些RestAPI，允许http进行请求。 修改配置文件conf/flink-conf.yaml： jobmanager.archive....
Flink 1.17教程：历史服务器History Server
学亮编程手记
09-01 668
容器化部署是如今业界流行的一项技术，基于Docker镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是Kubernetes（k8s），而Flink也在最近的版本中支持了k8s部署模式。基本原理与YARN是类似的，具体配置可以参见官网说明，这里我们就不做过多讲解了。
Flink HistoryServer配置（简单三步完成）
weixin_44500374的博客
01-14 3149
#HistoryServer 允许您查询JobManager存档的已完成作业的状态和统计信息。(官网原话) 最适合用于：了解 flink过去完成任务的状态，以及有状态作业的恢复（保存了最后一次的checkpoint地址） 官网地址：https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/historyserver.html 官网配置参数：https://ci.apache.org/projects/flink/flink
flink historyserver踩坑记录
qq_35939417的博客
10-26 1992
两年后，我又开始搞flink了！这次又是接手别人的项目，估计又有不少的坑要踩。这不，问题来了。生产环境的某个job每跑7天就会挂掉，由于没有任何日志，所以不知道发生了什么。我们的flink是跑在yarn上，记录日志的方法有很多，我这里选择flink historyserver。没有historyserver时，flink的web UI只在job运行时能用，开启historyserver之后就算job挂掉了，也能通过web UI看历史job的元数据和异常信息。
Flink History Job
weixin_30882895的博客
07-23 337
history job的写入1. org.apache.flink.runtime.jobmanager，Object JobManagerrunJobManager中指定使用MemoryArchivist进行作业保存startJobManagerActors中创建了进行作业保存的actor此archive的actor会被传入jobmanager的actor 2. org.apache.flin...
Flink｜《Flink 官方文档 - 部署 - History Server》学习笔记
长行
01-21 589
这样，可以从 HistoryServer 的 WebUI 直接链接到相关 JobManager / TaskManager 的日志。HistoryServer 允许查询 JobManager 存档的已完成作业的状态和统计信息。Flink 提供了 history server，可以在相应的 Flink 集群关闭之后查询已完成作业的统计信息。已完成作业的存档会在 JobManager 上进行，将已存档的作业信息上传到文件系统目录中。示例：配置 HistoryServer 与日志收集服务的集成。
Flink History Server小文件优化
qq_30708747的博客
05-10 752
Flink History Server小文件优化 背景： 通过开启作业归档，JobManger会将结束运行态的Flink作业的统计信息（拓扑信息、运行状态、checkpoint、累加器、异常）归档到远端文件系统。History会从远端下载归档的作业信息并提供查询方式。 一个Flink作业代表平台任务（per-Job集群）的一次运行周期，一个平台任务对应这一个或多个Flink任务。 问题： 随着平台新增任务，以及用户对平台作业的更新迭代操作，归档的作业信息越来越多，很快本地磁盘inode资源就被打满。 通过
Flink错误：一historyserver无法启动，二存在的文件会报错没有那个文件或目录
最新发布
出发行进
11-20 912
Flink错误：一historyserver无法启动，二执行时存在的文件会报错没有那个文件或目录
flink-connector-sqlserver-cdc
08-05
flink-connector-sqlserver-cdc是一个用于实时数据处理的Flink连接器，用于连接和读取Microsoft SQL Server Change Data Capture（CDC）源中的数据。 SQL Server CDC是一种数据捕获技术，可以将数据库中的变更捕获...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sf_www

谢谢支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值