【Flink】Flink session模式 Completed Job List 不显示历史job列表

最新推荐文章于 2023-11-15 14:08:33 发布
最新推荐文章于 2023-11-15 14:08:33 发布
阅读量687 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/126621993
版权
大数据-flink 专栏收录该内容
837 篇文章 841 订阅 ¥99.90 ¥99.00
订阅专栏

在这里插入图片描述

1.场景1

1.1 概述

有一个Flink session任务，开始能这里看不到失败或者取消的任务，具体如下

在这里插入图片描述

这是后台日志
在这里插入图片描述
之前测试集群也出现这个状况，重启后解决。但是这个是生产集群有任务在跑不能随便重启

后来找到原因了，之前删除了linux的tmp下的文件和文件夹导致的

九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
Flink实战（九）Flink 开启历史服务器
wuhulala的休息室
03-08 1825
今天突然发现所有作业的历史执行记录都没有了。 所以找了一下flink的历史服务器怎么配置的。 flink-conf.yaml配置task的存档目录 # Directory to upload completed jobs to. Add this directory to the list of # monitored directories of the HistoryServer as w...
Flink监控及调优
qq_32165517的博客
08-26 743
Flink监控及调优 History Server Hadoop MapReduce Spark Flink start/stop-xxx.sh 看一下这些脚本的写法 shell对于bigdata有用吗？ lower 配置： historyserver.web.address: 0.0.0.0 historyserver.web.port: 8082 historyserver.archive.fs.refresh-interval: 10000 jobmanager.archive.fs.dir: hdf
【Flink】Flink任务缺失Jobmanager日志的问题排查
Meepoljd的博客
11-15 1354
问题不是大问题，不是什么代码级别的高深问题，也没有影响任务运行，纯粹因为人员粗心导致，记录一下排查的过程。
flink如何在服务器运行,Flink历史服务器不显示正在运行的应用程序
weixin_39980234的博客
07-31 603
我正在尝试配置flink历史服务器。我在这里遵循了 Flink的文件。我可以启动历史服务器，但只能看到已完成的 job，而不是正在运行的 job。是我遗漏了什么，还是只是完成的 job显示在历史服务器上。请帮忙。群集中当前的 job：local主机：8081/ job概述{"running": [{"jid": "e4e6edb76b887054d7aca460b7136937","name": ...
Flink从检查点和保存点恢复Job的命令
qq_38750273的博客
07-14 1207
Flink从检查点和保存点恢复Job作业的命令
Improvements of Job Scheduler and Query Execution on Flink OLAP
04-29
Improvements of Job Scheduler and Query Execution on Flink OLAP-Flink Forward Asia 2021
搭建Flink standalone HA 模式所需的jar包
04-13
首先，Flink的standalone模式是Flink分布式运行的一种方式，它不需要借助于其他分布式资源管理系统（如YARN或Kubernetes），而是自包含一个JobManager和TaskManager的集群。而HA模式则在此基础上增加了容错机制，...
Flink的standalone模式集群启动的流程及注意事项
01-20
1.进行相应的解压操作之后，对flink-conf.yaml、slaves文件进行配置 vi flink-conf.yaml 2. vi slaves来设置子节点 3.将主节点配置的文件复制到其他节点上scp -r /flink-1.9.2/ root@192.168.198.131:/yanxiaobo/...
flink自定义metric中只显示metric不显示metricgroup.docx
04-17
flink自定义metric中只显示metric不显示metricgroup
Flink 集群部署模式.pdf
最新发布
04-26
flink 集群部署模式.pdf
Hadoop运行时一直卡在Running job解决：
tj867182298的博客
10-08 770
在yarn-site.xml添加如下配置： <!-- yarn容器允许分配的最小内存 --> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <!-- yarn容器允许管理的物理内存大小 --> <propert
flink historyserver踩坑记录
qq_35939417的博客
10-26 1728
两年后，我又开始搞flink了！这次又是接手别人的项目，估计又有不少的坑要踩。这不，问题来了。生产环境的某个job每跑7天就会挂掉，由于没有任何日志，所以不知道发生了什么。我们的flink是跑在yarn上，记录日志的方法有很多，我这里选择flink historyserver。没有historyserver时，flink的web UI只在job运行时能用，开启historyserver之后就算job挂掉了，也能通过web UI看历史job的元数据和异常信息。
Flink 学习十 FlinkSQL
weixin_44244088的博客
06-20 9642
flinksql 从入门到入门...
尚硅谷Flink（完）FlinkSQL
qq_58551342的博客
10-17 2032
⚫ 标量函数（Scalar Functions）：将输入的标量值转换成一个新的标量值；⚫ 表函数（Table Functions）：将标量值转换成一个或多个新的行数据，也就是扩展成一个表；⚫ 聚合函数（Aggregate Functions）：将多行数据里的标量值转换成一个新的标量值；⚫ 表聚合函数（Table Aggregate Functions）：将多行数据里的标量值转换成一个或多个新的行数据。要想在代码中使用自定义的函数，我们需要首先自定义对应 UDF 抽象类的实现，并在表环境中注册。
Flink 清理过期 Checkpoint 目录的正确姿势
http://www.54tianzhisheng.cn/
02-20 3681
本博客是笔者在生产环境使用 Flink 遇到的 Checkpoint 相关故障后，整理输出，价值较高的实战采坑记，本文会带你更深入的了解 Flink 实现增量 Checkpoint 的...
如何写好状态机？跑马灯/流水灯Verilog HDL实现
Josvin
04-15 4478
如何写好状态机 很多初学者不知道何时应用状态机。这里介绍两种应用思路：第一种思路，从状态变量入手。如果一个电路具有时序规律或者逻辑顺序，我们就可以自然而然地规划出状态，从这些状态入手，分析每个状态的输入，状态转移和输出，从而完成电路功能；第二种思路是首先明确电路的输出的关系，这些输出相当于状态的输出，回溯规划每个状态，和状态转移条件与状态输入。无论那种思路，使用状态机的目的都是要控制某部分电路，完...
Flink---14、Flink SQL（SQL-Client准备、流处理中的表、时间属性、DDL）
星光不问赶路人，岁月不负有心人
10-09 2516
Flink SQL（SQL-Client准备、流处理中的表、时间属性、DDL）
Flink的安装部署的几种模式详解
ing
04-22 6878
Flink的安装部署：Local本地模式|Standalone独立集群模式|Standalone-HA高可用集群模式|Flink On Yarn模式 我这里电脑上有三台安装好的虚拟机分别是node1、node2、node3 Local本地模式： 原理：主节点JobManager（Master）和从节点TaskManager（Slave）在一台机器上模拟 1、Flink程序由JobClient进行提交 2、JobClient将任务提交给JobManager 3、JobManager只负责协调...
flink 多job
10-27
Flink是一个开源的流式处理框架，它提供了多个Job的支持。Flink的多Job能够满足不同的业务需求和数据处理场景。 首先，Flink的多Job能够实现业务逻辑的拆分和独立开发。通过将一个大的业务处理过程拆分成多个独立的Job，可以提高开发效率和可维护性。每个Job可以关注自己的业务逻辑，独立进行开发、调试和测试，降低了开发的复杂度。 其次，Flink的多Job能够实现任务的并行执行。不同的Job可以同时运行，互相之间没有依赖关系，提高了处理的效率。而且，Flink的任务调度器可以根据资源的情况，自动分配和调度不同的Job，充分利用集群的资源，提高整体的吞吐量。 此外，Flink的多Job能够实现数据的流式处理和批处理的混合使用。可以将不同类型的Job组合在一起，根据实际需要进行流式处理和批处理的切换。对于批处理任务，Flink提供了滚动窗口、滑动窗口等机制，能够将流式数据按照一定的时间或者数量进行分组，实现近似实时的批处理。 最后，Flink的多Job能够实现高可用和故障恢复。Flink的作业管理器能够自动监测任务的健康状态，一旦发生故障，则会尝试重新启动或者将任务迁移到其他的节点，实现了任务的自动恢复。 总之，Flink的多Job能够提供灵活、高效、可靠的数据处理能力，适用于各种不同的场景和需求。它具有简单的开发方式、任务的并行执行、数据处理的灵活性和高可用性等优点，为企业提供了强大的数据处理解决方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值