【Flink】Flink session模式 Completed Job List 不显示历史job列表

最新推荐文章于 2023-10-17 13:57:16 发布
最新推荐文章于 2023-10-17 13:57:16 发布
阅读量954 收藏
点赞数
分类专栏： 2025最新-大数据-flink 文章标签： flink 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/126621993
版权
本文讨论了Flink session模式中遇到的一个问题：Completed Job List不显示历史任务。当删除Linux tmp目录下的文件和文件夹时，会导致Flink无法显示已失败或取消的任务。尽管重启集群可以解决此问题，但在生产环境中需要谨慎操作。解决方案是避免清理与Flink运行相关的临时文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

1.场景1

1.1 概述

有一个Flink session任务，开始能这里看不到失败或者取消的任务，具体如下

在这里插入图片描述

这是后台日志
在这里插入图片描述
之前测试集群也出现这个状况，重启后解决。但是这个是生产集群有任务在跑不能随便重启

后来找到原因了，之前删除了linux的tmp下的文件和文件夹导致的

Flink多种模式任务提交
L
05-20 1924
目录 界面方式 命令方式 测试代码如下： package wordcount import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala._ /** * Created by leboop on 2020/5/19. */ object StreamWordCount { def main(args: Array[String]): Unit = {
Flink Session Mode: 显示已完成的作业列表但不显示历史作业列表
JieLun_C的博客
09-17 332
在Flink的Session Mode中，已完成的作业列表（Completed Job List）是一个非常有用的功能，它允许用户查看已经完成的作业的详细信息，包括作业ID、状态、开始时间、结束时间等。然而，有时候用户可能会遇到一个问题：已完成的作业列表中不显示历史作业列表。在Flink的Session Mode中，已完成的作业列表通常是通过Flink Web UI提供的。接口发送GET请求来获取作业概览的信息，然后从返回的JSON数据中筛选出状态为"FINISHED"的作业，最后返回已完成的作业列表。
flink historyserver踩坑记录
qq_35939417的博客
10-26 2080
两年后，我又开始搞flink了！这次又是接手别人的项目，估计又有不少的坑要踩。这不，问题来了。生产环境的某个job每跑7天就会挂掉，由于没有任何日志，所以不知道发生了什么。我们的flink是跑在yarn上，记录日志的方法有很多，我这里选择flink historyserver。没有historyserver时，flink的web UI只在job运行时能用，开启historyserver之后就算job挂掉了，也能通过web UI看历史job的元数据和异常信息。
flink如何在服务器运行,Flink历史服务器不显示正在运行的应用程序
weixin_39980234的博客
07-31 661
我正在尝试配置flink历史服务器。我在这里遵循了 Flink的文件。我可以启动历史服务器，但只能看到已完成的 job，而不是正在运行的 job。是我遗漏了什么，还是只是完成的 job显示在历史服务器上。请帮忙。群集中当前的 job：local主机：8081/ job概述{"running": [{"jid": "e4e6edb76b887054d7aca460b7136937","name": ...
Flink监控及调优
qq_32165517的博客
08-26 804
Flink监控及调优 History Server Hadoop MapReduce Spark Flink start/stop-xxx.sh 看一下这些脚本的写法 shell对于bigdata有用吗？ lower 配置： historyserver.web.address: 0.0.0.0 historyserver.web.port: 8082 historyserver.archive.fs.refresh-interval: 10000 jobmanager.archive.fs.dir: hdf
Flink从检查点和保存点恢复Job的命令
qq_38750273的博客
07-14 1517
Flink从检查点和保存点恢复Job作业的命令
Flink 爬坑【1】job的增删与taskmanager节点异常
weixin_45893488的博客
04-24 2580
job新增 推荐通过webUI 把打包好的jar包丢上去，这里的好处是可以显式的指定参数非常方便。 当然你直接在服务上丢也是ok的 job取消 方法1 webui取消 选中你要取消的job 跳转详情页面 Cancel Job 就行 方法2 后台取消 进入flink安装目录下的 bin 目录 先看有哪些job ./flink list 找到要取消的 ./flink cancel 1fcd23976ccd490fc67ccf58d1deab29 注意 这里的取消是取消整个集群的job，且不能恢复
FlinK运行一段时间后任务任务自己挂掉的问题排查
热门推荐
梦想成真那天
07-10 1万+
最近在做自定义实时报表,由于在前期测试Flink发现Flink拥有比较好的性能,并且天然支持窗口,所以在实时计算的时候,我们选择Flink在做计算框架.在所有的代码完成,代码准备上线的时候,发现Flink程序运行一段时间后,要么自己直接挂掉要么过一段时间,程序从checkpoint恢复.在排查日志的过程中,程序中并没有什么异常报出,最终排查每个taskManager的日志发现在其中一个TaskMa...
Flink实战（九）Flink 开启历史服务器
wuhulala的休息室
03-08 1951
今天突然发现所有作业的历史执行记录都没有了。 所以找了一下flink的历史服务器怎么配置的。 flink-conf.yaml配置task的存档目录 # Directory to upload completed jobs to. Add this directory to the list of # monitored directories of the HistoryServer as w...
Flink那件事儿
美丽的毛毛草
07-30 577
1. Flink好的博文 https://github.com/zhisheng17/flink-learning flink中文网站：https://flink.apache.org/zh/flink-architecture.html 2. Flink简介 2.1 概念框架 Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 Apache Flink 擅长处理无界和有界数据集 精
Hadoop运行时一直卡在Running job解决：
tj867182298的博客
10-08 851
在yarn-site.xml添加如下配置： <!-- yarn容器允许分配的最小内存 --> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <!-- yarn容器允许管理的物理内存大小 --> <propert
Flink---14、Flink SQL（SQL-Client准备、流处理中的表、时间属性、DDL）
星光不问赶路人，岁月不负有心人
10-09 2986
Flink SQL（SQL-Client准备、流处理中的表、时间属性、DDL）
尚硅谷Flink（完）FlinkSQL
最新发布
qq_58551342的博客
10-17 2363
⚫ 标量函数（Scalar Functions）：将输入的标量值转换成一个新的标量值；⚫ 表函数（Table Functions）：将标量值转换成一个或多个新的行数据，也就是扩展成一个表；⚫ 聚合函数（Aggregate Functions）：将多行数据里的标量值转换成一个新的标量值；⚫ 表聚合函数（Table Aggregate Functions）：将多行数据里的标量值转换成一个或多个新的行数据。要想在代码中使用自定义的函数，我们需要首先自定义对应 UDF 抽象类的实现，并在表环境中注册。
Flink流任务卡在RUNNING或初始化状态中的解决方法
code_welike的博客
08-28 728
在本文中，我们介绍了一些常见的解决方法，帮助您解决Flink流任务卡在RUNNING或初始化状态的问题。通过检查任务配置和资源设置，检查作业图，检查数据源和数据接收，以及查看日志和错误信息，您应该能够找到并解决导致任务无法正常运行的问题。您可以使用Flink的作业图可视化工具来检查作业图的结构，并确保它是正确的。然而，有时候在运行Flink流任务时，可能会遇到任务卡在RUNNING状态或初始化状态的问题。如果任务卡在初始化或运行状态，您应该检查任务的日志和错误信息，以了解可能的问题所在。
Flink 学习十 FlinkSQL
weixin_44244088的博客
06-20 1万+
flinksql 从入门到入门...
Flink的安装部署的几种模式详解
ing
04-22 7766
Flink的安装部署：Local本地模式|Standalone独立集群模式|Standalone-HA高可用集群模式|Flink On Yarn模式 我这里电脑上有三台安装好的虚拟机分别是node1、node2、node3 Local本地模式： 原理：主节点JobManager（Master）和从节点TaskManager（Slave）在一台机器上模拟 1、Flink程序由JobClient进行提交 2、JobClient将任务提交给JobManager 3、JobManager只负责协调...
Flink实际问题以及知识点
一个写湿的程序猿
03-08 4445
Flink对线面试官1 状态原理1.1 状态、状态后端、Checkpoint 三者之间的区别及关系？1.2 把状态后端从 FileSystem 变为 RocksDB 后，Flink 任务状态存储会发生那些变化？1.3.什么样的业务场景你会选择 filesystem，什么样的业务场景你会选 rocksdb 状态后端？1.4 Flink SQL API State TTL 的过期机制是 onCreateAndUpdate 还是 onReadAndWrite2 时间窗口2.1 watermark 到底是干啥的？应
Flink HistoryServer配置（简单三步完成）
weixin_44500374的博客
01-14 3311
#HistoryServer 允许您查询JobManager存档的已完成作业的状态和统计信息。(官网原话) 最适合用于：了解 flink过去完成任务的状态，以及有状态作业的恢复（保存了最后一次的checkpoint地址） 官网地址：https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/historyserver.html 官网配置参数：https://ci.apache.org/projects/flink/flink
Flink HistoryServer配置
missingMuMu的博客
07-12 2868
flink的HistoryServer主要是用来存储和查看任务的历史记录，具体信息可以看官网： https://ci.apache.org/projects/flink/flink-docs-release-1.8/monitoring/historyserver.html 下面主要分析一下参数配置： conf/flink-conf.yaml文件 jobmanager.archive...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值