95-240-048-原理-State-StateBackend

最新推荐文章于 2024-06-10 01:00:49 发布
最新推荐文章于 2024-06-10 01:00:49 发布
阅读量495 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106008812
版权
大数据-flink 专栏收录该内容
854 篇文章 860 订阅 ¥99.90 ¥299.90
订阅专栏

1.视界

在这里插入图片描述

2.拓扑图

在这里插入图片描述

3.概述

  • StateBackend接口定义了有状态的streaming应用的state是如何stored以及checkpointed
  • flink目前内置支持MemoryStateBackend、FsStateBackend、RocksDBStateBackend三种，如果没有配置默认为MemoryStateBackend；在flink-conf.yaml里头可以进行全局的默认配置，不过具体每个job还可以通过StreamExecutionEnvironment.setStateBackend来覆盖全局的配置
  • MemoryStateBackend可以在构造器中指定大小，默认是5MB，可以增大但是不能超过akka frame
了解本专栏 订阅专栏 解锁全文
Flink系列：State Backend（状态后端）
NIO4444
04-17 432
定义 状态的存储、访问、维护，由一个可插入的组件决定，这个组件就是状态后端（State Backend） 主要作用 本地的状态管理、检查点（checkpoint）状态写入远程存储。 env.setStateBackend(new FsStateBackend("hdfs://checkpoint-xxx/xxxx")) ; 3种类型 MemoryStateBackend FsStateBackend RocksDBStateBackend MemoryStateBack...
95-240-050-原理-State-RocksDBStateBackend
九师兄
07-01 774
1.视界 2.概述 ​ RocksDBStateBackend存储正在处理的数据到RocksDB数据库。而RocksDB被存储在TaskManager的数据字典里。结合检查点机制，整个RocksDB数据库将进行快照并被存储到配置的文件系统中。最小化的元数据被存储到JobManager的内存里（如果配置为高可用模式，将会保存到元数据检查点中）。 RocksDBStateBackend 的配置也需要一个文件系统（类型，地址，路径），如下所示： “hdfs://namenode:40010/flink/ch
选择一个状态后端(state backend)
qq_34158117的博客
08-07 464
选择一个状态后端(state backend) MemoryStateBackend 内存级的状态后端，会将键控状态作为内存中的对象进行管理，将它们存储在TaskManager的JVM堆上；而将checkpoint存储在JobManager的内存中。 FsStateBackend 将checkpoint存到远程的持久化文件系统（FileSystem）上。而对于本地状态，跟MemoryStateBackend一样，也会存在TaskManager的JVM堆上。 RocksDBStateBackend 将所
Flink(六) State backend
又小雨的博客
08-16 2537
一、简介 说的是持久化状态的数据存放在哪 默认情况下，所有的状态都存储在 JVM 的堆内存中，在状态数据过多的情况下，这种方式很有可能导致内存溢出，因此 Flink 该提供了其它方式来存储状态数据，这些存储方式统一称为状态后端 (或状态管理器) Flink中定义了三种State Backend The MemoryStateBackend：内存 The FsStateBackend：文件系统，比如hdfs The RocksDBStateBackend：DB 就是说数据可以存在内存中，也可以存在HDFS
Flink DataStream State Backend（状态后端）
Widsom的博客
07-01 3080
Flink DataStream State Backend（状态后端） State Backend（状态后端） 用Data Stream Api 编写的程序经常是需要保存状态的，如下面情况： Windows中聚集的元素直到被触发计算。在触发之前，需要保存Windows中的元素的状态。 转换（Transformation）函数可以使用Key/Value状态接口存储状态值 转换（Transform...
Flink的状态后端(State Backends)
淡定一生2333的博客
06-30 8749
一、前言 Flink提供不同的状态后端（State Backend）来区分状态的存储方式和存储位置。Flink状态可以存储在java堆内存内或者内存之外。通过状态后端的设置，Flink允许应用持有大容量的状态。开发者可以在不改变应用逻辑的情况下设置状态后端。 二、可用的State Backend Flink提供三种开箱即用的State Backend： MemoryStateBackend FsStateBackend RocksDBStateBackend 2.1...
Flink 笔记二 Flink的State--状态原理及原理剖析
文报的博客
12-22 1826
1.状态类型 State按照是否有key划分为KeyedState和OperatorState Keyed State:KeyedStream流上的每一个Key都对应一个State （1）Keyed State 表示和Key相关的一种State，只能用于KeydStream类型数据集对应的Functions和 Operators之上。Keyed State是Operator State的特例，区别在于 Keyed State 事先按照key对数据集进行了分区，每个 Key State 仅对应ー个O
Flink StateBackend原理与代码实例讲解
最新发布
AI天才研究院
06-10 240
作者：禅与计算机程序设计艺术 禅与计算机程序设计艺术CTO: 禅与计算机程序设计艺术 背景介绍 流处理系统Flink在大规模实时数据处理中扮演着重要角色，它允许我们处理无限数据流，为各种场景提供了强大的支持，如实时数据分析、物联网事件处理等。其中，状态后端(State Backend)是Flink的核心组件之一，负
95-290-035-源码-内存管理-原理与实现：内存管理
九师兄
07-01 548
2.概述 如今，大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题： Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存：对象头占了8个，boolean 属性占了1个，对齐填充占了7个。而实际上只需要一个bit（1/8字节）就够了。 Full GC 会极大地影响性能，尤其是为了处理更大数据而开了很大内存空间的JVM来说，G.
Flink状态管理之State Backend(状态的后端存储)
热门推荐
Jiny_li的博客
01-13 1万+
基本介绍 1、默认情况下，state会保存在taskmanager的内存中，checkpoint会存储在JobManager的内存中。 2、state 的store和checkpoint的位置取决于State Backend的配置（env.setStateBackend(…)） 3、一共有三种State Backend：MemoryStateBackend、FsStateBackend、R...
Flink —— StateBackend 状态后端
认知 行动 坚持
09-07 3917
在启动 CheckPoint 机制时，状态会随着 CheckPoint 而持久化，以防止数据丢失、保障恢复时的一致性。 状态内部的存储格式、状态在 CheckPoint 时如何持久化以及持久化在哪里均取决于选择的State Backend。 一、可用的 State Backends Flink 内置了以下这些开箱即用的 state backends ： MemoryStateBackend FsStateBackend RocksDBStateBackend 如果不设置，默认使用 MemoryS.
Flink---12、状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
星光不问赶路人，岁月不负有心人
10-08 1843
状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
Flink StateBackend 初探
weixin_34227447的博客
06-26 438
一个StateBackEnd 包括以下几个部分： 1.CheckPointStreamFactory 构造流用于写出Checkpoint 数据 不同的StateBackEnd会有不同的实现,返回不同的CheckpointStateOutputStream实现，比如 FsStateBackEnd 就会构造文件流, 而MemoryStateBackEnd就会构造ByteArraOutputStr...
Flink核心概念——State、StateBackend
渐宽阁读书小弟
03-13 451
文章目录用于测试的CustomSourceFunctionStateOperatorState 算子状态的作用范围限定为算子任务ListStateUnionListStateBroadcastStateKeyedState 根据输入数据流中定义的键（key）来维护和访问ValueStateListStateMapStateReducingState&AggregatingStateStat...
Flink系列之Flink中StateBackend深入剖析和应用
luoyepiaoxue2014的博客
12-05 1820
Flink系列之Flink中StateBackend深入剖析和应用
state backends
forme2k8的博客
12-19 202
状态后端 数据流API的程序中通常以如下几种形式保存状态: 窗口算子收集数据元素或聚合直到他们被发射出去 转换函数会使用key/value状态接口存储数据 转换函数会实现CheckpointedFunction接口，来保证局部变量的故障恢复 当检查点机制被激活，这种状态在检查点上保持，以防止数据丢失和一致地恢复。 状态是如何在内部表示，并且它如何在检查点上保持依赖于选择的状态后端。 可用的状态后端...
【Flink-State】Flink三种StateBackend的区别与使用：MemoryStateBackend & FsStateBackend & RocksDBStateBackend
weixin_53543905的博客
03-08 1791
RocksDB是一种嵌入式的本地数据库。RocksDBStateBackend 将处理中的数据使用RocksDB存储在本地磁盘上。 在checkpoint时，整个RocksDB数据库会被存储到配置的文件系统中，或者在超大状态作业时可以将增量的数据存储到配置的文件系统中。同时Flink会将极少的元数据存储在JobManager 的内存中，或者在Zookeeper中（对于高可用的情况） RocksDB默认也是配置成异步快照的模式。RocksDB是一个 key/value 的内存存储系统，和其他的 key/v
StateBackend的工作原理及其在大数据中的应用
BugCrusher的博客
08-13 121
本文将介绍StateBackend的工作原理以及它在大数据领域中的应用，并提供相应的源代码示例。上述代码示例中，我们首先导入了相关的Flink库，然后创建了一个FsStateBackend对象，并指定了状态数据的存储位置。例如，Apache Flink框架中的StateBackend模块能够处理无界流数据，并支持容错、高可用和快速恢复的功能。StateBackend主要负责状态的持久化和恢复，以及状态访问和操作的优化。对于小状态，可以将其保存在内存中，而对于大状态则可以将其保存在磁盘中，以防止内存溢出。
StateBackend状态后端
机器之心
09-13 229
在Flink中提供了StateBackend来存储和管理状态数据:Flink一共实现了三种类型的状态管理器：MemoryStateBackend、FsStateBackend、
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值