Flink的状态后端(State Backends)

最新推荐文章于 2024-06-03 10:05:33 发布
最新推荐文章于 2024-06-03 10:05:33 发布
阅读量2.7k 收藏 19
点赞数 5
分类专栏： Flink 文章标签： flink  状态后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jmx_bigdata/article/details/100037158
版权
Flink的状态后端包括MemoryStateBackend、FsStateBackend和RocksDBStateBackend。MemoryStateBackend默认适用于无状态或小状态作业，不推荐在生产环境使用。FsStateBackend适合处理大状态，适用于高可用方案。RocksDBStateBackend最适合大状态处理任务，支持增量Checkpoint，但单Key大小有限制。选择合适的状态后端需考虑业务场景和状态需求。
摘要由CSDN通过智能技术生成

title: Flink的状态后端(State Backends)
categories:

  • Flink
    tags:
  • flink
    date: 2019-08-23 11:38:00

当使用checkpoint时，状态(state)会被持久化到checkpoint上，以防止数据的丢失并确保发生故障时能够完全恢复。状态是通过什么方式在哪里持久化，取决于使用的状态后端。

可用的状态后端

MemoryStateBackend

FsStateBackend

FsStateBackend

注意：如果什么都不配置，系统默认的是MemoryStateBackend

MemoryStateBackend

在这里插入图片描述
MemoryStateBackend 是将状态维护在 Java 堆上的一个内部状态后端。键值状态和窗口算子使用哈希表来存储数据（values）和定时器（timers）。当应用程序 checkpoint 时，此后端会在将状态发给 JobManager 之前快照下状态，JobManager 也将状态存储在 Java 堆上。默认情况下，MemoryStateBackend 配置成支持异步快照。异步快照可以避免阻塞数据流的处理，从而避免反压的发生。当然，使用

最低0.47元/天 解锁文章
大数据技术与数仓
关注
  • 5
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
flink state backend状态后端
cobracanary的博客
06-05 894
flink在从v1.12到v1.14的改版当中，其状态后端也发生了变化。今天想学习一下flink中的状态后端，发现网上的博客都是基于老版本的状态后端讲解的，也就是`{MemoryStateBackend, FsStateBackend, RocksDBStateBackend}`，但是当我在使用1.14的flink写代码的时候，发现这些状态后端都已经被废弃了，新版本的状态后端是`{HashMapStateBackend, EmbeddedRocksDBStateBackend}`.......
Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用
01-07
1.StateBackEnd        用来保存 State 的存储后端就叫做StateBackend。StateBackend 默认是保存在 JobManager 的内存中，也可以保存在 本地文件系统 或者 HDFS 分布式文件系统中。        当检查点（CheckPoint）机制启动时，状态将在检查点中持久化来应对数据的丢失以及恢复。而1.状态在内部是如何表示的？ 2.状态是如何持久化到检查点中以及3.持久化到哪里都取决于选定的StateBackend。 2.可用的StateBackEnd    Flink为我们提供了如下三种Statebackend实现：      1. Mem
聊聊flink的FsStateBackend
weixin_33881041的博客
12-15 559
序 本文主要研究一下flink的FsStateBackend StateBackend flink-runtime_2.11-1.7.0-sources.jar!/org/apache/flink/runtime/state/StateBackend.java @PublicEvolving public interface StateB...
Flink的状态后端（State Backends）（管理状态）
最新发布
weixin_63257947的博客
06-03 1096
Flink中提供了两类不同的状态后端，一种是“哈希表状态后端”（HashMapStateBackend），另一种是“内嵌RocksDB状态后端”（EmbeddedRocksDBStateBackend）。在Flink中，状态的存储、访问以及维护，都是由一个可插拔的组件决定的，这个组件就叫作状态后端（state backend）。普通的状态，以及窗口中收集的数据和触发器，都会以键值对的形式存储起来，所以底层是一个哈希表（HashMap），这种状态后端也因此得名。的机制，这在很多情况下可以大大提升保存效率。
Flink原理实战每日一篇08
qq_31866793的博客
06-25 722
继续上面的 checkpoints 和 savepoints.........我在这里解释一下，我现在写这些其实都是看书上的，花钱买的书，不得好好吸收了么。所以在这里写博客，以前都是用有道云笔记，可每次写完都不看了，博客好啊~随时看，随时改，养成好习惯是不~~~ 1，理解CheckPoints 检查点机制 Flink中基于异步轻量级的分布式快照技术提供了checkpoints容错...
Flink学习14---容错机制（四）StateBackend和SavePoint的使用
zhuzuwei的博客
07-11 1187
1. 设置StateBackend 模式，此处以保存到hdfs为例 在flink-conf.yaml中设置 state.backend为filesystem； 设置state.backend.fs.checkpointdir 即checkpoints的保存路径。 也可在程序中指定checkpoints的保存路径。 env.setStateBackend(new FsStateBackend("hdfs://192.168.***.***:9000/flink/checkpoints")); 注
5_Flink的状态管理.pptx
07-14
本篇文章将从Flink的状态概念出发，深入探讨算子状态（Operator State）、键控状态（Keyed State）以及状态后端（State Backends），并通过具体的数据结构和应用场景来加深理解。 #### 二、Flink状态概述 Flink中...
flink-1.11.2-src.tgz
10-28
6. **flink-state-backends**：状态后端模块，Flink 支持多种状态存储方式，如内存、 RocksDB 和 HDFS，为大规模状态存储提供解决方案。 7. **flink-examples**：包含了一系列示例程序，帮助初学者快速理解和上手 ...
flink-1.14.5-bin-scala_2.12.tgz
08-15
2. State Backends：新的版本提供了更多的状态后端选项，如 RocksDB，提高了大规模状态处理的性能和可扩展性。 3. 新的连接器：Flink 1.14.5 添加了对更多数据源和数据 sink 的支持，如 Kafka、HDFS 和 Elastic...
flink-1.8.1-src.tgz
07-07
- **State Backends**：Flink 提供多种状态后端，如 MemoryBackend、FileBackend 和 RocksDB，用于存储和管理状态。 - **Checkpointing**：定期保存作业状态，用于故障恢复和一致性保证。 3. **Flink 的源码结构*...
flink-1.13.1-bin-scala_2.11.tgz
06-24
2. **State Backends**：Flink 提供了多种状态后端，如 RocksDB 和 Memory，用于存储处理过程中的状态数据。在新版本中，这些后端的稳定性和性能得到了进一步提升，确保了大规模数据处理的可靠性。 3. **Exactly-...
Flink 1.12 与Flink 1.13 状态后端、检查点机制之间的差异
ks_1998的博客
07-16 1002
Flink 1.12 与Flink 1.13 状态后端、检查点机制之间的差异
Flink 1.13 新版状态后端 StateBackend 详解
SmartSi
09-30 1079
在 Flink 1.13 版本之前，StateBackend 提供了三个开箱即用的 StateBackend：MemoryStateBackend、FsStateBackend 以及 RocksDBStateBackend。该版本下的 StateBackend 把状态存储(如何在 TM 上本地存储和访问状态)和 Checkpoint 持久化(Checkpoint 如何持久化状态)笼统的混在一起，导致初学者对此感觉很混乱，很难理解。
Flink的容错
weixin_46021633的博客
01-26 356
CheckPoint CheckPoint是Flink的容错核心机制。它可以定期将各个Operator处理的数据进行快照存储（Snapshot）。通过CheckPoint机制，可以对作业的状态和计算位置进行恢复。 barrier的产生 Flink的checkpoint是由JobManager发起的，以一定的周期触发Source Task产生barrier。 Source收到指令后生成barrier，Source Task中会进行两件事 1.首先生成携带CheckPoint ID的barrier，并将
Flink系列之Flink中StateBackend深入剖析和应用
luoyepiaoxue2014的博客
12-05 1777
Flink系列之Flink中StateBackend深入剖析和应用
95-240-054-原理-State-FsStateBackend
九师兄
07-01 863
1.视界 1.背景 FsStateBackend 需要配置的主要是文件系统，如 URL（类型，地址，路径）。举个例子，比如可以是： - hdfs://namenode:40010/flink/checkpoints - s3://flink/checkpoints ​ 当选择使用 FsStateBackend 时，正在进行的数据会被存在 TaskManager 的内存中。在 checkpoint 时，此后端会将状态快照写入配置的文件系统和目录的文件中，同时会在 JobManager 的内存中（在高可用场
Flink状态管理之State Backend(状态的后端存储)
热门推荐
Jiny_li的博客
01-13 1万+
基本介绍 1、默认情况下，state会保存在taskmanager的内存中，checkpoint会存储在JobManager的内存中。 2、state 的store和checkpoint的位置取决于State Backend的配置（env.setStateBackend(…)） 3、一共有三种State Backend：MemoryStateBackend、FsStateBackend、R...
Java报错streamed,Flink各种报错汇总及解决方法
weixin_34420979的博客
03-22 2518
Table is not an append-only table. Use the toRetractStream() in order to handle add and retract messages.这个是因为动态表不是append-only模式的,需要用toRetractStream(回撤流)处理就好了.tableEnv.toRetractStreamPerson.print()今天在...
Flink CheckPoint机制 学习 测试 使用FsStateBackend状态后端 将checkpoint恢复到中断处
开开心心西红柿
08-13 2520
Flink CheckPoint机制 1、实验目的 目的 开启一个Flink程序，使用hdfs做状态后端，手动取消job后，再次恢复job测试，观察程序是否能恢复到检查点，继续读取并处理数据； 实验原理：检查点机制 ​ 当程序出现问题需要恢复 Sate 数据的时候，只有程序提供支持才可以实现 State 的容 错。State 的容错需要依靠 CheckPoint 机制，这样才可以保证 Exactly-once 这种语义，但 是注意，它只能保证 Flink 系统内的 Exactly-once，比如 Fli
Flink状态后端介绍
06-01
Flink状态后端是Flink用来管理和存储状态的组件，它支持将状态存储在不同的存储后端中，包括内存、文件系统、RocksDB、Hadoop Distributed File System（HDFS）等。Flink状态后端的选择会直接影响Flink任务的性能和可靠性。 下面介绍几种常用的Flink状态后端： 1. MemoryStateBackend：将状态存储在内存中，适用于对性能要求较高且状态量较小的场景，但不支持容错和恢复。 2. FsStateBackend：将状态存储在分布式文件系统中，如HDFS，支持容错和恢复，但性能较MemoryStateBackend略有下降。 3. RocksDBStateBackend：将状态存储在RocksDB中，支持高性能的状态读写和快速的恢复，但需要额外的依赖和配置。 4. Blink State Backend：这是Flink 1.9版本引入的全新状态后端，它支持同时使用内存、RocksDB和其他存储后端，可以根据数据大小和性能需求灵活选择。 在选择Flink状态后端时，需要根据实际情况进行综合考虑，包括数据大小、性能要求、容错和恢复能力等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值