Stream 分布式数据流的轻量级异步快照

最新推荐文章于 2024-01-22 19:24:15 发布
最新推荐文章于 2024-01-22 19:24:15 发布
阅读量1k 收藏 1
点赞数
分类专栏： Flink
本文介绍了Apache Flink系统中的一种新型快照算法——异步屏障快照（ABS），旨在解决分布式有状态流处理中的低延迟和高吞吐量挑战。ABS算法减少了空间需求，降低了对系统的影响，适用于有向无环图和有向有环图的数据流拓扑。通过在Flink中的实现和评估，展示了ABS在减少运行时间开销和保持线性可伸缩性方面的优势。
摘要由CSDN通过智能技术生成

原文来源：Stream 分布式数据流的轻量级异步快照

1. 概述

分布式有状态流处理支持在云中部署和执行大规模连续计算，主要针对低延迟和高吞吐量。这种模式的一个最根本的挑战就是在可能的失败情况下提供处理保证。现有方法依赖于可用于故障恢复的周期性全局状态快照。这些方法有两个主要缺点。首先，他们经常拖延影响数据摄取的整体计算过程。其次，持久化存储所有传输中

了解本专栏 订阅专栏 解锁全文 超级会员免费看
@SmartSi
关注
专栏目录
订阅专栏
解读Flink中轻量级的异步快照机制--Flink 1.2 源码
lmalds的专栏
02-09 3455
Flink ABS Barrier
【转】分布式数据流的轻量级异步快照
weixin_33935777的博客
04-20 261
2019独角兽企业重金招聘Python工程师标准>>> ...
一文搞懂 Flink 的 Exactly Once 和 At Least Once
http://www.54tianzhisheng.cn/
08-05 1166
本文由知识星球小伙伴 范瑞 投稿，原文地址：https://www.jianshu.com/p/8d6569361999本文主要为了让你搞懂 Flink 的 Exactl...
如果让你去数羊 -- 谈分布式异步快照原理
weixin_34247155的博客
03-11 144
2019独角兽企业重金招聘Python工程师标准>>> ...
Flink的检查点算法-Chandy-Lamport分布式快照算法
qq_34158117的博客
08-07 776
Flink的检查点算法 Flink检查点算法的正式名称是异步分界线快照(asynchronous barrier snapshotting)。该算法大致基于Chandy-Lamport分布式快照算法。 Flink检查点的核心作用是确保状态正确，即使遇到程序中断，也要正确。记住这一基本点之后，我们用一个例子来看检查点是如何运行的。Flink为用户提供了用来定义状态的工具。例如，以下这个Scala程序按照输入记录的第一个字段(一个字符串)进行分组并维护第二个字段的计数状态。 valstream:Dat..
Flink 内容分享(二十六)：Flink任务综合调优(Checkpoint/反压/内存)
之乎者也·的博客
12-31 1186
通过最小时间间隔参数配置，可以降低Checkpoint对系统的性能影响，但需要注意的事，对于非常大的状态数据，最小时间间隔只能减轻Checkpoint之间的堆积情况。在这种情况下，如果大状态数据确实需要很长的时间来进行Checkpoint，那么只能对Checkpoint的时间间隔进行优化，可以通过Checkpoint之间的最小间隔参数进行配置，让Checkpoint之间根据Checkpoint执行速度进行调整，前面的Checkpoint没有完全结束，后面的Checkpoint操作也不会触发。
解读Flink中轻量级的异步快照机制--论文
lmalds的专栏
02-08 6855
Flink Snapshot ABS
Apache Flink ABS机制与原理分析
860MHz的专栏
06-11 878
1. 简介 分布式有状态的流处理支持在云端部署和执行大规模连续地计算，同时可以应对低延迟和高吞吐量场景。 这一模式最大的挑战之一是在系统可能失败的情况下提供数据可靠性保证。 现有方法依赖于可用于故障恢复的周期性全局状态快照。 此类方法有两个主要缺点：首先，它们通常会阻塞计算；其次，它们通常会保存传输中的所有记录和操作状态，这导致更多的快照数据。 而异步屏障快照（ABS）是一种适用于现代流处理引擎的...
Concepts:Stateful Stream Processing
weixin_48813624的博客
08-10 509
Concepts:Stateful Stream Processing
Flink中的状态一致性
weixin_41655296的博客
05-02 888
1 状态一致性的分级 at most once :故障发生之后，计数结果可能丢失 at least once :表示计数结果可能大于正确值，但绝不会小于正确值。也就是说，计数程序在发生故障后可能多算，但是绝不会少算。 exactly once :这指的是系统保证在发生故障后得到的计数结果与正确值一致。 2 端到端状态一致性 端到端的一致性保证，意味着结果的正确性贯穿了整个流处理应用的始终；每一个组件都保证了它自己的一致性，整个端到端的一致性级别取决于所有组件中一致性最弱的组件。 具体可以划分如.
Java8 Stream
李大能
10-31 1020
描述：Java8 开始，Collection集合中新增了两个和流有关的方法，分别Stream()同步流和parallelStream()异步流，通过lambda表达对集合实现高效的处理
flink通过状态快照实现容错
最新发布
m0_66520412的博客
01-22 817
Flink 会定期获取每个 Operator 中所有状态的持久化快照，并将这些快照复制到更持久的地方，例如分布式文件系统。Flink 管理的键控状态是一种分片的键/值存储，以及每个键/值存储的工作副本 键控状态的项保留在负责该键的 TaskManager 的本地某个位置。算子 state 也是需要它的计算机的本地状态。有两种状态后端的实现可用——一种基于 RocksDB，一种嵌入式键/值存储，可保持其工作状态 disk，以及另一个基于堆的状态后端，该后端将其工作状态保存在 Java 堆上的内存中。
Flink 容错机制
mengxianglong123的博客
04-04 5073
概述   在分布式架构中，当某个节点出现故障，其他节点基本不受影响。这时只需要重启应用， 恢复之前某个时间点的状态继续处理就可以了。这一切看似简单，可是在实时流处理中，我们不仅需要保证故障后能够重启继续运行，还要保证结果的正确性、故障恢复的速度、对处理性能的影响，这就需要在架构上做出更加精巧的设计。   在 Flink 中，有一套完整的容错机制（fault tolerance）来保证故障后的恢复，其中最重要的就是检查点（checkpoint）。在前面，我们已经介绍过检查点的基本概念和用途，接下来我们就深入探
Flutter StreamController 异步通信、Stream 流异步通信
代码小疯子
10-19 7297
Stream 是一个抽象类，用来表示一个序列的异步数据，Stream流分类： 单订阅流(Single Subscription),这种流最多只能有一个监听器(listener) 多订阅流(Broadcast),这种流可以有多个监听器监听（listener）
数据流的基本概念
chengjianghao的博客
09-19 3万+
数据流是一串连续不断的数据的集合，就象水管里的水流，在水管的一端一点一点地供水，而在水管的另一端看到的是一股连续不断的水流。数据写入程序可以是一段、一段地向数据流管道中写入数据，这些数据段会按先后顺序形成一个长的数据流。对数据读取程序来说，看不到数据流在写入时的分段情况，每次可以读取其中的任意长度的数据，但只能先读取前面的数据后，再读取后面的数据。不管写入时是将数据分多次写入，还是作为一...
Java8中使用stream进行分组统计和普通实现的分组统计的性能对比
热门推荐
冯立彬的博客
05-08 5万+
    在ImportNew上面看到一篇文章：http://www.importnew.com/14841.html，说的是使用Java8的对集合采用流操作的新特性，替代旧的使用循环对集合操作的方式，使用Java8的流操作功能对集合进行分组，以及对相应的内容进行去重等操作等，使用Java8编写的代码可读性和理解性都有了非常大的提高，是非常值得称称赞的。    Java8通过流对集合的分组操作，让分...
【Kafka】（二十四）轻量级流计算 Kafka Streams 实践总结
云祁QI
09-15 811
文章目录一、概述1.1 Kafka Streams1.2 Kafka Streams 特点1.3 为什么要有 Kafka Streams 一、概述 1.1 Kafka Streams Kafka Streams。Apache Kafka 开源项目的一个组成部分。是一个功能强大，易于使用的 库。用于在 Kafka 上构建高可分布式、拓展性，容错的应用程序。 1.2 Kafka Streams 特点 1. 功能强大 高扩展性，弹性，容错 2. 轻量级 无需专门的集群 一个库，而不是框架 3. 完全集成
探索stream.js：轻量级JavaScript流库
"stream.js是一个轻量级且完全独立的JavaScript类库，专注于提供一种新的数据结构——流(streams)，它不同于普通的数组或链表，具备独特的优势。流的主要特点在于其延迟执行能力，能够处理无限数量的元素，即使在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值