深度剖析：Flink 检查点机制的工作原理与优化策略

已于 2024-01-04 21:09:09 修改
阅读量1.2k 收藏
点赞数
分类专栏： # Flink 文章标签： flink 大数据
于 2022-10-26 14:59:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzhcoder/article/details/127531616
版权
了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据与后端架构提升之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink 检查点（Checkpoint）
qq_42575907的博客
09-16 3002
​ 发生故障之后怎么办？最简单的想法当然是重启机器、重启应用。这里的问题在于，流处理应用中的任务都是有状态的，而为了快速访问这些状态一般会直接放在堆内存里；现在重启应用，内存中的状态已经丢失，就意味着之前的计算全部白费了，需要从头来过。就像编写文档或是玩 RPG 游戏，因为宕机没保存而要重来一遍是一件令人崩溃的事情；所以就有了存档，这样即使遇到宕机也可以读档继续了。​ 在流处理中，我们同样可以用存档读档的思路，把之前的计算结果做个保存，这样重启之后就可以继续处理新数据、而不需要重新计算了。进一步地，我们
Flink 检查点（checkpoint）
hyunbar的博客
03-25 6447
Flink具体如何保证exactly-once呢? 它使用一种被称为"检查点"（checkpoint）的特性，在出现故障时将系统重置回正确状态。下面通过简单的类比来解释检查点的作用。 假设你和两位朋友正在数项链上有多少颗珠子，如下图所示。你捏住珠子，边数边拨，每拨过一颗珠子就给总数加一。你的朋友也这样数他们手中的珠子。当你分神忘记数到哪里时，怎么办呢? 如果项链上有很多珠子，你显然不想从...
Flink 的 Checkpoint配置详解_flink 设置checkpoint(1)
最新发布
2401_84164469的博客
04-08 936
续会持续更新**
【大数据】Flink 架构（五）：检查点 Checkpoint（看完即懂）
书山有路，学海无涯。记录成长，追逐梦想
01-28 1668
本篇博客我们将介绍 Flink 的检查点（checkpoint）及故障恢复机制，看一下它们如何提供精确一次的状态一致性保障。而在下一篇博客中，我们还会讨论 Flink 所独有的保存点（savepoint）机制，它就像一把 “瑞士军刀”，解决了运行流式应用过程中的诸多难题。
flink 容错机制（检查点的保存、恢复、检查点算法、保存点、状态一致性的三种级别、end-to-end exactly-once）
热门推荐
不是一枚开发
06-08 6万+
  flink将之前某个时间点所有的状态保存下来，这份就是所谓的检查点（checkpoint）。检查点是 Flink 容错机制的核心。检查是针对故障恢复的结果而言的：故障恢复之后继续处理的结果，应该与发生故障前完全一致。所以有时又会把 checkpoint 叫作  检查点作为应用状态的一份存档，其实就是（snapshot），它的触发是周期性的。每隔一段时间检查点保存操作被触发时，就把每个任务当前的状态复制一份，按照一定的逻辑结构放在一起持久化保存起来，就构成了检查点  当的时候，将它们的状态保存下来。首先，
Flink-Barrier理解与checkpoint检查点制作过程(图解)
狗不理的博客
11-16 6042
理解Barrier 面向官网,发现看不懂,那咱就画图
Flink原理、实战与性能优化-高级进阶培训（小白请勿下载）
06-07
Flink原理、实战与性能优化-高级进阶培训（小白请勿下载） Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意...
Flink原理、实战与性能优化.pdf
11-10
Flink原理、实战与性能优化.pdf
Flink基本工作原理
02-24
Flink是新的stream计算引擎，用java实现。...主要工作原理如下图用户首先提交Flink程序到JobClient，经过JobClient的处理、解析、优化提交到JobManager，最后由TaskManager运行task。JobClient是Flink程序和
机遇与挑战：Apache Flink 资源管理机制解读与展望.pdf
03-21
机遇与挑战：Apache Flink 资源管理机制解读与展望
Flink笔记(十七)：Flink重启策略
01-07
 当介绍 Flink 重启策略时，就必须要先介绍一下 State、StateBackend、CheckPointing 这三个概念。 1.1 State 状态  Flink 实时计算程序为了保证计算过程中，出现异常可以容错，就要将中间的计算结果数据存储起来...
Flink系列之Flink中Checkpoint容错机制
luoyepiaoxue2014的博客
12-05 904
Flink系列之Flink中Checkpoint容错机制
解决Flink在测试环境无法保存checkpoint问题
qy8502的专栏
11-19 4516
在测试环境部署的flink，无法成功的存储checkpoints。或者使用flink命令执行savepoint也无法成功保存。hdsf中创建了对应的目录，却没有写任何文件。
Flink的容错机制第四篇 checkpoint触发机制
lishinho的博客
05-25 7420
一，checkpoint的配置 默认checkpoint功能是disabled的，想要使用的时候需要先启用checkpoint开启之后，默认的checkPointMode是Exactly-once。 官方配置代码如下： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();...
Flink从检查点和保存点恢复Job的命令
qq_38750273的博客
07-14 1149
Flink从检查点和保存点恢复Job作业的命令
Flink StreamingFileSink 文件到hdfs 文件一直处于inprogress状态无法生成正式文件
cullinans的博客
01-30 7002
问题描述： 任务逻辑是通过实时读取Kafka数据，一分钟计算一次数据，并利用Flink StreamingFileSink将数据落地到HDFS文件中。为了应对大促剧增的数据量，对当前运行稳定的集群进行了扩容处理，任务重启后发现写入的hdfs文件一直处于inprogress状态无法滚动生成正式文件。 解决过程： 开始是猜想可能是并行度过多，导致产生大量临时文件，文件句柄太多，关闭耗时导致文件一直无法完成合并？将并行度调整到1，发现问题并没有解决。 又猜想是因为调整了checkpoint参数，禁用掉che
Flink StreamingFileSink写入hdfs，文件一直处于inprogress
weixin_44378305的博客
08-19 5454
文件一直处于inprogress归根结底就是checkpoint不成功。使用StreamingFileSink 时需要启用 Checkpoint ，每次做 Checkpoint 时写入完成后，桶中临时文件转成正式文件。如果 Checkpoint 被禁用，部分文件（part file）将永远处于 ‘in-progress’ 或 ‘pending’ 状态，下游系统无法安全地读取。...
【Flink】Flink做检查点checkpoint一直处于IN_PROGRESS状态
九师兄
02-22 1014
flink做checkpoint一直是IN_PROGRESS状态，查看java 堆栈信息展示错误根据异常栈找到相应的代码requestMemorySegmentBlocking// 如果已请求的内存片段数量超过了localBufferPool的大小 // 将多出来的内存片段取出,归还给NetworkBufferPool并回收 while((segment = requestMemorySegment(targetChannel)) == null) {try {
flink运行原理_Flink原理、实战与性能优化
06-09
Flink是一个开源的分布式流处理框架，它的运行原理是将数据流分成不同的子任务，这些子任务会在不同的计算节点上并行执行。Flink将数据流看作是一个无限的事件流，每当有新的事件到来时，Flink会将这些事件收集起来，交给对应的算子进行处理，并将结果传递给下一个算子。Flink的运行原理主要包括以下几个方面： 1. 数据流划分：Flink会将数据流划分为多个子任务，并将这些子任务分配到不同的计算节点上。 2. 算子执行：每个子任务会在对应的计算节点上并行执行，数据会经过一系列的算子进行处理，每个算子都会将处理后的数据再次输出到下一个算子。 3. 状态管理：Flink支持对算子状态的管理，可以将算子的状态存储在内存或外部存储中，以便在出现故障时进行恢复。 4. 检查点：Flink会定期生成检查点，用于保存算子的状态以及数据流的位置信息，以便在出现故障时进行恢复。 5. 任务协调：Flink会对所有子任务进行统一的协调和调度，确保数据流的正确处理。 在实际应用中，为了保证Flink的性能，需要进行性能优化。常见的性能优化包括： 1. 调整并行度：适当调整算子的并行度可以提高Flink的性能。 2. 减少数据倾斜：数据倾斜会导致某些节点的负载过高，可以通过数据重分区等方式来减少数据倾斜。 3. 使用状态后端：选择合适的状态后端可以提高Flink的性能，常用的状态后端包括内存和RocksDB。 4. 减少网络开销：减少网络开销可以提高Flink的性能，可以通过调整数据分区、使用压缩算法等方式来减少网络开销。 5. 避免不必要的计算：避免不必要的计算可以提高Flink的性能，可以通过过滤掉不需要处理的数据等方式来避免不必要的计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与后端架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值