Flink状态后端

最新推荐文章于 2024-08-12 11:30:17 发布
最新推荐文章于 2024-08-12 11:30:17 发布
阅读量108 收藏
点赞数
分类专栏： 大数据 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43918355/article/details/118684408
版权
本文探讨了MemoryStateBackend、FsStateBackend和RocksDBStateBackend三种状态后端技术，比较了它们在内存访问速度、容错性、存储位置和稳定性上的特点，适合本地测试和生产环境选择。
摘要由CSDN通过智能技术生成

MemoryStateBackend

内存级的状态后端, 状态保存在TaskManager的JVM堆上, 而将checkpoint存储在JobManager的内存中

特点: 快速, 但是不稳定, 节点挂了就没了, 受内存大小限制, 一般用于本地和测试环境测试

FsStateBackend

将checkpoint存到远程的持久化文件系统(FileSystem)上, 而对于本地状态, 跟MemoryStateBackend一样, 也会存在TaskManager的JVM堆上

同时拥有内存级的本地访问速度, 和更好的容错性, 但是TaskManager也受内存大小限制

RocksDBStateBackend

将所有状态序列化后, 存入本地的RocksDB中存储,

内存中也有状态, 但是更多的是相当于缓存, RocksDB是所有状态, 这样如果是要访问硬盘中的状态速度会稍微慢点, 但是是最稳定的, 不会因为状态而 出现OOM

_Mr. White
关注
专栏目录
Flink教程(9)-Flink状态后端、容错与一致性
鸟哥哥的专栏
08-25 442
Flink状态后端。Flink容错，Flink一致性。在前文中我们讲述了Flink的状态管理以及状态编程。所举的例子中，State都是基于内存存储的。实际生产中，如果状态一直都保存在内存，那么系统宕机或其它问题引起的系统重启时，状态数据就会丢失，无法知晓数据处理的进度。因此需要一种类似"定时存盘"的机制来保证数据流处理过程中的容错性。在Flink中，状态的存储、访问以及维护都是由称之为状态后端(state backends)的组件决定。
有状态流处理:Flink 状态后端
SmartSi
09-03 308
这篇文章我们将深入探讨有状态流处理，更确切地说是 Flink 中可用的不同状态后端。在以下部分，我们将介绍 Flink 的3个状态后端，看一下它们的局限性以及如何根据具体案例需求选择最合适的状态后端。在有状态的流处理中，当启用了 Flink 的检查点功能时，状态会持久化存储以防止数据的丢失并确保发生故障时能够完全恢复。为应用程序选择何种状态后端，取决于状态持久化的方式和位置。
Flink状态后端-Memory/Fs/RockDB
最新发布
someInNeed的博客
08-12 1060
纠正一个常见的误区：认为RocksDB是一个需要在集群上运行并由专门管理员管理的分布式数据库，是错误的。RocksDB是一个用于快速存储的可嵌入持久化键值存储。它通过Java Native接口（JNI）与Flink进行交互。
Flink的状态后端（State Backends）
程序人生
08-03 839
MemoryStateBackend 和 FsStateBackend 都是在内存中进行状态管理，所以可以获取较低的读写延迟，但会受限于TaskManager的内存大小；而RocksDBStateBackend直接将State存储到RocksDB数据库中，所以不受JobManager的内存限制，但会有读写延迟，同时 RocksDBStateBackend 支持增量备份，这是其他两个都不支持的特性。一般来说，如果不是对延迟有极高的要求，RocksDBStateBackend是更好的选择...
flink的状态后端介绍
weixin_41998764的博客
09-28 2415
状态后端状态后端可用的状态后端HashMapStateBackendEmbeddedRocksDBStateBackend选择正确的状态后端配置状态后端（单个作业）配置默认状态后端RocksDB状态后端详述增量CP内存管理RocksDB的内存管理 状态后端 使用DataStream API实现的程序一般都在下面的场景管理使用状态： 窗口时间触发时刻的元素聚合操作 转化方法中可能使用``key/value`状态接口去存储对应的值 转化方法中可能实现``CheckpointedFunction`接口去实现自己
Flink的状态后端(State Backends)
淡定一生2333的博客
06-30 8666
一、前言 Flink提供不同的状态后端（State Backend）来区分状态的存储方式和存储位置。Flink状态可以存储在java堆内存内或者内存之外。通过状态后端的设置，Flink允许应用持有大容量的状态。开发者可以在不改变应用逻辑的情况下设置状态后端。 二、可用的State Backend Flink提供三种开箱即用的State Backend： MemoryStateBackend FsStateBackend RocksDBStateBackend 2.1...
Flink---12、状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
星光不问赶路人，岁月不负有心人
10-08 1772
状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
如何选择 Flink 状态后端存储?
http://www.54tianzhisheng.cn/
09-22 908
State Backends 当需要对具体的某一种 State 做 Checkpoint 时，此时就需要具体的状态后端存储，刚好 Flink 内置提供了不同的状态后端存储，用于指定状态的存储方式和位置。状态可以存储在 Java 堆内存中或者堆外，在 Flink 安装路径下 conf 目录中的 flink-conf.yaml 配置文件中也有状态后端存储相关的配置，为此在 Flink 源码中还特有一个...
Flink状态后端性能调优:参数设置与最佳实践
程序员光剑
05-25 365
Flink状态后端性能调优:参数设置与最佳实践 1.背景介绍 1.1 Flink状态管理概述 Apache Flink是一个开源的分布式流处理框架,广泛应用于实时数据处理、批处理和机器学习等领域。在流式处理中,Flink通
Flink--状态后端
shall潇の菜园
07-19 4222
文章目录一、是什么三、如何用 一、是什么 再讲状态后端是什么之前，我要说一句：Flink中状态（State）是什么？ 看一下官网怎么说 状态后端： 状态都需要存储到状态后端(StateBackend)，然后在checkpoint触发时，将状态持久化到外部存储系统。Flink提供了三种类型的状态后端，分别是基于内存的状态后端(MemoryStateBackend)、基于文件系统的状态后端(FsStateBackend)以及基于RockDB作为存储介质的RocksDB StateBackend。 简而言之
Flink 状态后台
qq_27242695的博客
06-30 347
文章目录Flink 状态后台 Flink 状态后台
Flink之状态后端（StateBackends）
蔡政洁的博客
04-04 1195
目录（1）状态后端的分类（2）配置状态后端 每传入一条数据，有状态的算子任务都会 读取和更新状态 。由于有效的状态访问对于处 理数据的低延迟至关重要，因此每个并行任务(子任务)都会在本地维护其状态，以确保快速 的状态访问。 状态的存储、访问以及维护，由一个 可插入 的组件决定，这个组件就叫做 状态后端 （state backend） 状态后端主要负责两件事： 本地的状态管理 将检查点（checkpoint）状态写入远程存储 （1）状态后端的分类 状态后端作为一个可插入的组件, 没有固定的配置, 我们可以
Flink - 状态后端
weixin_40968325的博客
04-29 1182
本文主要介绍了flink的状态后端
How choose the statebackend
u013939918的博客
04-17 242
本文我们将深入探讨有状态的流处理，更确切地说是 Apache Flink 中不同的状态后端（state backend）。在以下部分，我们将介绍 Apache Flink 的 3 种状态后端，它们的局限性以及根据具体案例需求选择最合适的状态后端。 在有状态的流处理中，当开发人员启用了 Flink 中的 checkpoint 机制，那么状态将会持久化以防止数据的丢失并确保发生故障时能够完全恢复。选...
4.1.23 Flink-流处理框架-Flink中的状态管理之状态后端
敲代码的乔帮主
03-10 337
目录 1.状态后端是什么？ 2.状态后端的类型 3.配置状态后端 3.1 配置文件 3.2 代码中针对单独job，设置状态后端 1.状态后端是什么？ 每传入一条数据，有状态的算子任务都会读取和更新状态，由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问。状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端(state backend)。 状态后端主要负责两件事：1）本地的状态管理；2）...
Apache Flink 实时计算-深入理解 Checkpoint和Savepoint
专注大数据、实时计算、程序员成长、经验分享和排坑经历
02-25 1082
本文没有过多的讲述源码，考虑大家的都能够读懂，其语言竟可能通俗一一点。如果有需要改进的地方，希望大家能够指出。后续我会不断的和大家一起大数据相关的技术，和大家一起交流学习。
大数据—— Flink 状态后端（State Backends）
热门推荐
Vicky_Tang
08-28 1万+
由于有效的状态访问对于处理数据的低延迟只管重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问。 状态的存储、访问以及维护，有一个可插入的组件决定，这个组件就叫做状态后端（State Backends） 状态后端主要负责两件事： 本地的状态管理 将检查点（checkpoint）状态写入远程存储 Flink 提供的状态后端： MemoryStateBackend：内存级的状态后端，会将键控状态作为内存中的对象进行管理，将它们存储在 TaskManager 的 JVM 堆上，而将 chec
flink 状态后端
07-27
Flink支持多种状态后端用于存储和管理作业的状态数据。常用的状态后端包括： 1. MemoryStateBackend：将状态数据存储在内存中，适用于开发和调试时的临时状态存储。但是，如果作业发生故障或需要重新启动，状态数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值