Flink Checkpoint之StateBackend 状态后端详解

最新推荐文章于 2024-02-25 20:07:59 发布
最新推荐文章于 2024-02-25 20:07:59 发布
阅读量880 收藏 2
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49834705/article/details/114587690
版权

简介: Checkpoint其实就是Flink中某一时刻，所有的Operator的全局快照，那么快照应该要有一个地方进行存储，而这个存储的地方叫做状态后端（StateBackend）。
在这里插入图片描述
官网解释

1）、MemStateBackend
在这里插入图片描述
2）、FsStateBackend
在这里插入图片描述
3）、RocksDBStateBackend
在这里插入图片描述
总述，Flink StateBackend状态后端实现类：
在这里插入图片描述

LBJ_小松鼠
关注
专栏目录
Flink 1.13 StateBackend 与 CheckpointStorage 拆分
SmartSi
02-21 1120
1. 目标 Apache Flink 的持久化对许多用户来说都是一个谜。用户最常见反复提问的问题就是不理解 State、StateBackend 以及快照之间的关系。通过学习可以解答我们的一些困惑，但是这个问题如此常见，我们认为 Flink 的用户 API 应该设计的更友好一些。在过去几年中，我们经常会听到如下误解： 我们使用 RocksDB 是因为我们不需要容错。 我们不使用 RocksDB 是因为我们不想管理外部数据库。 RocksDB 可以直接读写 S3 或者 HDFS（相对于本地磁盘） FsSta
Flink - 15.最新 StateBackend 状态后端详解
BITDDD小栈
08-24 824
使用 DataStreaming 编写流式程序时通常结合 KeyedStream 实现状态的读取与更新，为了防止数据丢失并持续恢复，状态在检查点的持久化方式和位置取决于 StateBackend，下面基于 1.8.x 和 1.13.x 新老版本的状态后端进行分析以及工程环境下状态后端的使用与调优。
【Flink-容错API】重启策略-CheckPoint/StateBackend
09-23 271
一、Flink容错 1.1 State状态 Flink实时计算为了保证计算过程中，出现异常可以容错，就要中间结果的计算结果存储起来，这些中间数据就叫做State。 State时多类型的，默认是保存在JobManger的内存中，也可以保存在TaskManager的本地文件中，也可以保存在本地文件系统或者HDFS这样的分布式文件系统中。 1.2 StateBackend 用来保存State的存储后端就叫做StateBackend,默认是保存在JobManger的内存中，也可以保存在TaskManager的本地文
Flink之状态之状态存储 state backends
weixin_30445169的博客
08-01 365
流计算中可能有各种方式来保存状态： 窗口操作 使用 了KV操作的函数 继承了CheckpointedFunction的函数 当开始做checkpointing的时候，状态会被持久化到checkpoints里来规避数据丢失和状态恢复。选择的状态存储策略不同，会导致状态持久化如何和checkpoints交互。 1.可用的状态持久化策略 Flink提供了三种持久化策略，如果没有显式指...
【Flink】【第9章】【 状态管理和容错机制】【02】CheckPoint和 状态后端
weixin_43589563的博客
03-08 2562
状态管理状态后端1.状态的存储1.MemoryStateBackend2.FsStateBackend3.RocksDBBackend4.配置方式4.1 全局配置4.2 单任务配置2.状态的备份（checkpoint 和 savepoint）4.3 状态一致性4.3.1 flink状态的一致性级别4.3.2 端到端（end-to-end）状态一致性**1.Sink端幂等写入****2.Sink端事务写入**2.1 预写日志2.2 两阶段提交5.Flink + Kafka实现端到端的一致性 状态后端 1.状态
Flink状态后端和CheckPoint机制
qq_43523503的博客
03-18 1838
6.8.5 状态后端 什么是状态后端？ 每传入一条数据，有状态的算子任务都会读取和更新状态。状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就是状态后端。 状态后端的作用？ 本地的状态管理 将检查点（checkpoint）状态写入远程存储 （1）状态后端分类 ①MemoryStateBackend 内存级别的状态后端 本地状态存储在TaskManager的内存中 checkpoint保存在JobManager的内存中 **特点：**速度快、延迟低、不稳定 **使用场景：**1本地测
Flink CheckPoint机制 学习 测试 使用FsStateBackend状态后端 将checkpoint恢复到中断处
开开心心西红柿
08-13 2613
Flink CheckPoint机制 1、实验目的 目的 开启一个Flink程序，使用hdfs做状态后端，手动取消job后，再次恢复job测试，观察程序是否能恢复到检查点，继续读取并处理数据； 实验原理：检查点机制 ​ 当程序出现问题需要恢复 Sate 数据的时候，只有程序提供支持才可以实现 State 的容 错。State 的容错需要依靠 CheckPoint 机制，这样才可以保证 Exactly-once 这种语义，但 是注意，它只能保证 Flink 系统内的 Exactly-once，比如 Fli
Flink 1.13 新版状态后端 StateBackend 详解
SmartSi
09-30 1100
在 Flink 1.13 版本之前，StateBackend 提供了三个开箱即用的 StateBackend：MemoryStateBackend、FsStateBackend 以及 RocksDBStateBackend。该版本下的 StateBackend 把状态存储(如何在 TM 上本地存储和访问状态)和 Checkpoint 持久化(Checkpoint 如何持久化状态)笼统的混在一起，导致初学者对此感觉很混乱，很难理解。
【Flink】状态后端（1.13版本及大于1.13版本适用）
一杯咖啡半杯糖的博客
06-05 1102
Flink状态后端（1.13版本及大于1.13版本适用）
Flink checkpoint原理
litlit023的专栏
11-06 1263
1. checkpoint与state的关系 state就是checkpoint所做的主要持久化备份的主要数据 2. Flink中的state state主要分为keyed state和operator state 2.1 state分类 2.1.1 keyed state 2.1.2 operator state 又称non-keyed state，与一个operator的实例绑定；常见的operator state是source state，例如记录当前source的offset。 .
Flink使用Pod Template将状态快照(Checkpoint、Savepoint)存储在NFS
weixin_40278610的博客
01-17 1017
Flink 版本 1.13.3，使用 native k8s 部署模式，原采用 HDFS 作为状态快照（Checkpoint、Savepoint）的存储地址，但是由于仅使用了其 HDFS 作为状态快照存储地址，且 Hadoop 框架较重，在 k8s 集群中占用大量资源，现考虑将其替换为更轻量级的分布式文件系统——NFS。
State backend(Checkpoint 的存储的位置)
zhiwen
05-16 1837
Checkpoint 的存储的位置取决于配置的 State backend（JobManager 内存，文件系统，数据库…）。 默认情况下，State 存储在 TaskManager 内存中，Checkpoint 存储在 JobManager 内存中。Flink 支持在其他 state backend 中存储 State 和 Checkpoint。可以通过如下方法配置：StreamExecutionEnvironment.setStateBackend(…) Flink 提供了不同的 State backe
flink State Backend 如何选择?
m0_53373211的博客
11-06 675
3种Flink State Backend
Flink中StateBackend（工作状态）与Checkpoint（状态快照）的关系
weixin_38251332的博客
01-30 1587
只有基于 RocksDB state backend的状态快照才支持增量checkpoint，基于heap的并不支持默认情况下 checkpoint 是禁用的，需要手动开启：Flink状态分为Keyed State和非keyed State:Keyed State，可以使用RocksDB state backend和heap state backend。
【Flink-State】Flink三种StateBackend的区别与使用：MemoryStateBackend & FsStateBackend & RocksDBStateBackend
weixin_53543905的博客
03-08 1753
RocksDB是一种嵌入式的本地数据库。RocksDBStateBackend 将处理中的数据使用RocksDB存储在本地磁盘上。 在checkpoint时，整个RocksDB数据库会被存储到配置的文件系统中，或者在超大状态作业时可以将增量的数据存储到配置的文件系统中。同时Flink会将极少的元数据存储在JobManager 的内存中，或者在Zookeeper中（对于高可用的情况） RocksDB默认也是配置成异步快照的模式。RocksDB是一个 key/value 的内存存储系统，和其他的 key/v
Flink(六) State backend
又小雨的博客
08-16 2476
一、简介 说的是持久化状态的数据存放在哪 默认情况下，所有的状态都存储在 JVM 的堆内存中，在状态数据过多的情况下，这种方式很有可能导致内存溢出，因此 Flink 该提供了其它方式来存储状态数据，这些存储方式统一称为状态后端 (或状态管理器) Flink中定义了三种State Backend The MemoryStateBackend：内存 The FsStateBackend：文件系统，比如hdfs The RocksDBStateBackend：DB 就是说数据可以存在内存中，也可以存在HDFS
Apache Flink 实时计算-深入理解 Checkpoint和Savepoint
最新发布
专注大数据、实时计算、程序员成长、经验分享和排坑经历
02-25 1082
本文没有过多的讲述源码，考虑大家的都能够读懂，其语言竟可能通俗一一点。如果有需要改进的地方，希望大家能够指出。后续我会不断的和大家一起大数据相关的技术，和大家一起交流学习。
Flink的RocksDBStateBackend一些使用经验
热门推荐
wangshuo2019的博客
07-10 1万+
Flink的RocksDBStateBackend一些使用经验 一、idea依赖 RocksDBStateBackend是Flink中内置的第三方状态管理器，和其他两种（MemoryStateBackend和FsStateBackend）不同，使用时需添加相关依赖： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebacken
三种State Backends | 你该用哪个？
微信搜：import_bigdata，大数据领域硬核原创作者
10-10 1923
来源:大数据技术与架构作者:王知无大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：当Flink...
flink将mysql作为状态后端
05-25
使用 MySQL 作为状态后端的好处之一是，可以将状态数据存储在一个可靠和持久的存储介质中，以便在任务失败或重启时恢复状态。以下是将 MySQL 作为状态后端的步骤： 1. 在 Flink 作业中添加 mysql-connector-java ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值