Flink 之 StateBackend 介绍 & 使用

最新推荐文章于 2024-05-08 09:51:53 发布
最新推荐文章于 2024-05-08 09:51:53 发布
阅读量4.3k 收藏 4
点赞数 1
分类专栏： # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzb348110175/article/details/104330945
版权
Flink 专栏收录该内容
34 篇文章 90 订阅 ¥39.90 ¥99.00
订阅专栏
本文介绍了Flink的StateBackend，包括默认的MemoryStateBackend和FsStateBackend。讲解了如何配置StateBackend以将CheckPointing数据保存到HDFS或本地系统，并详细阐述了从Checkpoint恢复数据的步骤。通过实例展示了添加Hadoop整合包、编写WordCount任务和查看Checkpoints信息的过程。
摘要由CSDN通过智能技术生成

本文开头附：Flink 学习路线系列 ^ _ ^

1.StateBackEnd

       用来保存 State 的存储后端就叫做StateBackend。StateBackend 默认是保存在 JobManager 的内存中，也可以保存在 本地文件系统 或者 HDFS 分布式文件系统中。

       当检查点（CheckPoint）机制启动时，状态将在检查点中持久化来应对数据的丢失以及恢复。而1.状态在内部是如何表示的？ 2.状态是如何持久化到检查点中以及3.持久化到哪里都取决于选定的StateBackend。

2.可用的StateBackEnd

   Flink为我们提供了如下三种Statebackend实现：

     1. MemoryStateBackend

了解本专栏 订阅专栏 解锁全文
扛麻袋的少年
关注
专栏目录
订阅专栏
Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用
01-07
1.StateBackEnd        用来保存 State 的存储后端就叫做StateBackend。StateBackend 默认是保存在 JobManager 的内存中，也可以保存在 本地文件系统 或者 HDFS 分布式文件系统中。        当检查点（CheckPoint）机制启动时，状态将在检查点中持久化来应对数据的丢失以及恢复。而1.状态在内部是如何表示的？ 2.状态是如何持久化到检查点中以及3.持久化到哪里都取决于选定的StateBackend。 2.可用的StateBackEnd    Flink为我们提供了如下三种Statebackend实现：      1. Mem
Flink State Backends
qq_20671779的博客
08-13 2280
flink状态后端
Flink状态存储-StateBackend
老码农的博客
03-02 1871
Flink是一个流处理框架，它需要对数据流进行状态管理以支持复杂的计算逻辑。在Flink中，状态存储是指如何和在哪里存储这些状态数据。Flink提供了多种状态后端（State Backend）来实现这种存储，以满足不同的应用场景和性能需求。StateBackend需要具备如下两种能力：1、在计算过程中提供访问 State 的能力，开发者在编写业务逻辑中能够使用 StateBackend 的接口读写数据。2、能够将 State 持久化到外部存储，提供容错能力。
Flink —— StateBackend 状态后端
认知 行动 坚持
09-07 3911
在启动 CheckPoint 机制时，状态会随着 CheckPoint 而持久化，以防止数据丢失、保障恢复时的一致性。 状态内部的存储格式、状态在 CheckPoint 时如何持久化以及持久化在哪里均取决于选择的State Backend。 一、可用的 State Backends Flink 内置了以下这些开箱即用的 state backends ： MemoryStateBackend FsStateBackend RocksDBStateBackend 如果不设置，默认使用 MemoryS.
Flink(六) State backend
又小雨的博客
08-16 2531
一、简介 说的是持久化状态的数据存放在哪 默认情况下，所有的状态都存储在 JVM 的堆内存中，在状态数据过多的情况下，这种方式很有可能导致内存溢出，因此 Flink 该提供了其它方式来存储状态数据，这些存储方式统一称为状态后端 (或状态管理器) Flink中定义了三种State Backend The MemoryStateBackend：内存 The FsStateBackend：文件系统，比如hdfs The RocksDBStateBackend：DB 就是说数据可以存在内存中，也可以存在HDFS
flink-statebackend-rocksdb_2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-statebackend-rocksdb_2.11-1.13.2.jar； 赠送原API文档：flink-statebackend-rocksdb_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-statebackend-rocksdb_2.11-1.13.2-sources.jar； 赠送Maven...
flink-statebackend-rocksdb_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-statebackend-rocksdb_2.11-1.10.0.jar； 赠送原API文档：flink-statebackend-rocksdb_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-statebackend-rocksdb_2.11-1.10.0-sources.jar； 赠送Maven...
flink-statebackend-rocksdb_2.11-1.13.2-API文档-中英对照版.zip
06-05
赠送jar包：flink-statebackend-rocksdb_2.11-1.13.2.jar； 赠送原API文档：flink-statebackend-rocksdb_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-statebackend-rocksdb_2.11-1.13.2-sources.jar； 赠送Maven...
Apache Flink 实时计算-深入理解 Checkpoint和Savepoint
专注大数据、实时计算、程序员成长、经验分享和排坑经历
02-25 1209
本文没有过多的讲述源码，考虑大家的都能够读懂，其语言竟可能通俗一一点。如果有需要改进的地方，希望大家能够指出。后续我会不断的和大家一起大数据相关的技术，和大家一起交流学习。
Flink系列之Flink中StateBackend深入剖析和应用
luoyepiaoxue2014的博客
12-05 1813
Flink系列之Flink中StateBackend深入剖析和应用
Flink的状态后端(State Backends)
淡定一生2333的博客
06-30 8743
一、前言 Flink提供不同的状态后端（State Backend）来区分状态的存储方式和存储位置。Flink状态可以存储在java堆内存内或者内存之外。通过状态后端的设置，Flink允许应用持有大容量的状态。开发者可以在不改变应用逻辑的情况下设置状态后端。 二、可用的State Backend Flink提供三种开箱即用的State Backend： MemoryStateBackend FsStateBackend RocksDBStateBackend 2.1...
Flink State Backend
qq_45536740的博客
03-10 239
Flink指定多种State Backend实现，State Backend指定了状态数据（检查点数据）存储的位置信息。配置Flink的状态后端的⽅式有两种： 每个计算独⽴状态后端 val env = StreamExecutionEnvironment.getExecutionEnvironment() env.setStateBackend(...) 全局默认状态后端,需要在flink...
【Flink-State】Flink三种StateBackend的区别与使用：MemoryStateBackend & FsStateBackend & RocksDBStateBackend
weixin_53543905的博客
03-08 1789
RocksDB是一种嵌入式的本地数据库。RocksDBStateBackend 将处理中的数据使用RocksDB存储在本地磁盘上。 在checkpoint时，整个RocksDB数据库会被存储到配置的文件系统中，或者在超大状态作业时可以将增量的数据存储到配置的文件系统中。同时Flink会将极少的元数据存储在JobManager 的内存中，或者在Zookeeper中（对于高可用的情况） RocksDB默认也是配置成异步快照的模式。RocksDB是一个 key/value 的内存存储系统，和其他的 key/v
Flink的状态后端（State Backends）
程序人生
08-03 873
MemoryStateBackend 和 FsStateBackend 都是在内存中进行状态管理，所以可以获取较低的读写延迟，但会受限于TaskManager的内存大小；而RocksDBStateBackend直接将State存储到RocksDB数据库中，所以不受JobManager的内存限制，但会有读写延迟，同时 RocksDBStateBackend 支持增量备份，这是其他两个都不支持的特性。一般来说，如果不是对延迟有极高的要求，RocksDBStateBackend是更好的选择...
19、Flink 的 State Backends 配置详解
最新发布
猫猫爱吃小鱼粮
05-08 1148
Flink 的 State Backends 配置详解
Flink---12、状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
星光不问赶路人，岁月不负有心人
10-08 1829
状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
Flink大数据实时计算系列-Flink的state backend使用
段智华的博客
06-24 233
Flink大数据实时计算系列-Flink的state backend使用 目录 Flink的state backendFlink的state backend使用FileSourceRestartStateBackendFileCountryDictSourceFuntionFileSourceRestartStateBackendFileSourceOperatorStateListCheckpointedStateBackendFileCountryDictSourceOperatorStateListC
【flink状态管理（三）】StateBackend的整体设计、StateBackend创建说明
hiliang521的博客
02-08 1927
【flink状态管理】StateBackend的整体设计、StateBackend创建说明
State backend(Checkpoint 的存储的位置)
zhiwen
05-16 1875
Checkpoint 的存储的位置取决于配置的 State backend（JobManager 内存，文件系统，数据库…）。 默认情况下，State 存储在 TaskManager 内存中，Checkpoint 存储在 JobManager 内存中。Flink 支持在其他 state backend 中存储 State 和 Checkpoint。可以通过如下方法配置：StreamExecutionEnvironment.setStateBackend(…) Flink 提供了不同的 State backe
flink-statebackend-redis 依赖
06-02
flink-statebackend-redis 是 Flink 提供的一个 StateBackend 插件，用于将 Flink 程序中的状态数据存储到 Redis 中。如果您想在 Flink 程序中使用 RedisStateBackend，需要在项目中引入 flink-statebackend-redis 依赖。 具体来说，在 Maven 项目中，您可以在 pom.xml 文件中添加以下依赖： ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebackend-redis</artifactId> <version>${flink.version}</version> </dependency> ``` 在 Gradle 项目中，您可以在 build.gradle 文件中添加以下依赖： ``` dependencies { implementation "org.apache.flink:flink-statebackend-redis:${flinkVersion}" } ``` 这里的 ${flink.version} 或 ${flinkVersion} 是指您使用的 Flink 版本号。如果您使用的是 Flink 1.12 及以上版本，可以直接使用 flink-statebackend-redis 依赖。如果您使用的是 Flink 1.11 及以下版本，需要先引入 flink-statebackend-rocksdb 依赖： ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebackend-rocksdb</artifactId> <version>${flink.version}</version> </dependency> ``` 或者 ``` dependencies { implementation "org.apache.flink:flink-statebackend-rocksdb:${flinkVersion}" } ``` 然后再引入 flink-statebackend-redis 依赖： ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebackend-redis</artifactId> <version>${flink.version}</version> </dependency> ``` 或者 ``` dependencies { implementation "org.apache.flink:flink-statebackend-redis:${flinkVersion}" } ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扛麻袋的少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值