95-240-052-原理-State-MemoryStateBackend

最新推荐文章于 2023-03-08 17:29:26 发布
最新推荐文章于 2023-03-08 17:29:26 发布
阅读量501 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106008843
版权
大数据-flink 专栏收录该内容
838 篇文章 841 订阅 ¥99.90 ¥99.00
订阅专栏

1.视图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OjxyT815-1588950428903)(./00-flink/image-20191011231300907.png)]

2.拓扑图

在这里插入图片描述

3.概述

​ MemoryStateBackend在内部将数据以对象的形式保存的Java堆中。键值对状态以及窗口operator以hash table的形式存储值、触发器等。

​ MemoryStateBackend将数据作为Java堆栈栈的对象在内部保存。键/值对状态和窗口算子包含有存储值和触发器等的哈希表。

​ 建立在检查点的机制上，该状态终端将对状态进行快照并且将状态的快照作为检查点应答消息的一部分发送给JobManager（master），JobManager将快照存储在它的堆内存中。

​ 内存状态后端可以被配置为使用异步快照

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink 三种状态存储方式 MemoryStateBackend、FsStateBackend、RocksDBStateBackend
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-26 7522
StateBackend的意思是状态后端。 状态后端定义了流式应用程序状态如何存储和checkpoint的。不同的状态后端以不同的方式来存储其状态，并且使用不同的数据结构来保存正在运行的应用程序的状态。 MemoryStateBackend： 1 基于内存的状态管理器，聚合类算子的状态会存储在JobManager的内存中 2 单次状态大小默认最大被限制为5MB，可以通过构造函数来指定状态初始化内存大小。无论单次状态大小最大被限制为多少，都不可大于akka的frame大小（1.5MB，JobMa.
【flink状态管理（四）】MemoryStateBackend的实现
最新发布
hiliang521的博客
02-08 1626
【flink状态管理（四）】MemoryStateBackend的实现
【Flink-State】Flink三种StateBackend的区别与使用：MemoryStateBackend & FsStateBackend & RocksDBStateBackend
weixin_53543905的博客
03-08 1640
RocksDB是一种嵌入式的本地数据库。RocksDBStateBackend 将处理中的数据使用RocksDB存储在本地磁盘上。 在checkpoint时，整个RocksDB数据库会被存储到配置的文件系统中，或者在超大状态作业时可以将增量的数据存储到配置的文件系统中。同时Flink会将极少的元数据存储在JobManager 的内存中，或者在Zookeeper中（对于高可用的情况） RocksDB默认也是配置成异步快照的模式。RocksDB是一个 key/value 的内存存储系统，和其他的 key/v
Flink的三种状态后端存储方式
weixin_44844089的博客
05-24 3582
文章目录1. MemoryStateBackend1.1 概念1.2 特点及使用场景2. FsStateBackend2.1 概念2.2 特点及应用场景3. RocksDBStateBackend3.1 概念3.2 特点及应用场景 在Flink中提供了StateBackend（状态后端）来存储和管理Checkpoint过程中的状态数据。StateBackend分为三种。 1. MemoryStateBackend 1.1 概念 1.2 特点及使用场景 MemoryStateBackend存储有如下特点：
聊聊flink的MemoryStateBackend
weixin_33869377的博客
12-10 397
序 本文主要研究一下flink的MemoryStateBackend StateBackend flink-runtime_2.11-1.7.0-sources.jar!/org/apache/flink/runtime/state/StateBackend.java @PublicEvolving public interface StateBackend extends java.io.Ser...
kube-state-metrics-2.10.1
01-21
kube-state-metrics_2.10.1 2024-01-21
kube-state-metrics:v2.7.0
03-06
registry.k8s.io/kube-state-metrics/kube-state-metrics:v2.7.0 docker load -i 压缩名称
state-prism:订阅状态变更
03-06
state-prism可让您订阅状态更改。 它是之上的薄层。 我主要将它用于游戏。 每当游戏状态更新时，我都会触发回调以重新呈现依赖于该状态的UI组件。 :wrench: 用法示例 假设我的状态如下： state.js import { init...
美国各州的人口数据state-population
12-24
标题中的"state-population"指的是美国各州的人口数据，这通常涉及到统计学和地理信息系统（GIS）领域的知识。在这一主题中，我们可能会探讨美国50个州以及哥伦比亚特区的人口数量、人口增长率、人口密度等指标。...
Quaternion kinematics for the error-state Kalman filter
12-06
sola 提出的关于error-state Kalman filter的推导 其中涉及到jacobian 协方差矩阵等
Flink 使用Memory State导致OOM问题与解决
coderlaw's study
05-29 6444
一、现象 1.1 程序现象 程序是处理一个业务由2个表、4条数据、互相Join形成2条结果。Flink读取Kafka。模拟数据程序持续往Kafka插入数据,在TaskManager只有较低内存时，模拟了2000次插入（8000条数据时）,Flink的TaskManager就发生了OOM问题。使用jstat -gcutil 查看JVM进程发现Old区域在年轻代做垃圾回收时,每次持续5%左右的增长，直...
三种State Backends | 你该用哪个？
微信搜：import_bigdata，大数据领域硬核原创作者
10-10 1881
来源:大数据技术与架构作者:王知无大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：当Flink...
Flink之MemoryStateBackend
ChengYanan的博客
06-11 1235
flink-runtime_2.11-1.7.0-sources.jar!/org/apache/flink/runtime/state/StateBackend.java源代码： @PublicEvolving public interface StateBackend extends java.io.Serializable { // ------------------------...
Flink的状态后端(State Backends)
jmx_bigdata的博客
08-23 2717
title: Flink的状态后端(State Backends) categories: Flink tags: flink date: 2019-08-23 11:38:00 当使用checkpoint时，状态(state)会被持久化到checkpoint上，以防止数据的丢失并确保发生故障时能够完全恢复。状态是通过什么方式在哪里持久化，取决于使用的状态后端。 可用的状态后端 Memo...
Flink状态管理之State Backend(状态的后端存储)
热门推荐
Jiny_li的博客
01-13 1万+
基本介绍 1、默认情况下，state会保存在taskmanager的内存中，checkpoint会存储在JobManager的内存中。 2、state 的store和checkpoint的位置取决于State Backend的配置（env.setStateBackend(…)） 3、一共有三种State Backend：MemoryStateBackend、FsStateBackend、R...
State backend(Checkpoint 的存储的位置)
zhiwen
05-16 1782
Checkpoint 的存储的位置取决于配置的 State backend（JobManager 内存，文件系统，数据库…）。 默认情况下，State 存储在 TaskManager 内存中，Checkpoint 存储在 JobManager 内存中。Flink 支持在其他 state backend 中存储 State 和 Checkpoint。可以通过如下方法配置：StreamExecutionEnvironment.setStateBackend(…) Flink 提供了不同的 State backe
Flink之状态后端（StateBackends）
蔡政洁的博客
04-04 1158
目录（1）状态后端的分类（2）配置状态后端 每传入一条数据，有状态的算子任务都会 读取和更新状态 。由于有效的状态访问对于处 理数据的低延迟至关重要，因此每个并行任务(子任务)都会在本地维护其状态，以确保快速 的状态访问。 状态的存储、访问以及维护，由一个 可插入 的组件决定，这个组件就叫做 状态后端 （state backend） 状态后端主要负责两件事： 本地的状态管理 将检查点（checkpoint）状态写入远程存储 （1）状态后端的分类 状态后端作为一个可插入的组件, 没有固定的配置, 我们可以
Flink 1.13 源码解析——Flink 作业提交流程 上
EdwardWang_的博客
09-07 1873
Flink 1.13 源码解析 Flink 作业 提交流程
isis协议总结，描述了isis的原理、功能、已经用途
10-08
IS-IS通过Hello PDU（包括ESH、ISH和IIH）建立和维护邻接关系，LSP（Link State PDU）用于交换链路状态信息，SNP（System Network Protocol）确保LSDB（Link State Database）的同步，其中CSNP和PSNP分别用于发布...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值