Managed State(托管状态) Vs RawState(原生状态)

最新推荐文章于 2022-04-12 11:30:06 发布
最新推荐文章于 2022-04-12 11:30:06 发布
阅读量660 收藏 1
点赞数
分类专栏： # Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39338967/article/details/105106217
版权

在Flink中的KeyedState和OperatorState都有两种形式，有什么区别？

文章目录

Managed State(托管状态)

由Flink Runtime控制和管理状态数据，并将状态数据转换成为内存的Hash tables或 RocksDB的对象存储，然后将这些数据通过内部的接口持久化到checkpoints中，任务异常时可以通过这些状态数据恢复任务

RawState(原生状态)

由算子自己管理数据结构，当触发Checkpoint操作过程中，Flink并不知道状态数据内部的数据结构，只是将数据转换成bytes数据存储在Checkpoints中，当从Checkpoints恢复任务时，算子自己再反序列化出状态的数据结构

推荐

推荐：使用ManagedState管理状态数据
优势：ManagedState更好的支持状态数据的重平衡以及更加完善的内存管理

富有一文
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink学习（5）——state（状态）管理
江左煤郎的博客
07-09 1604
1. 什么是Flink state Flink中state分为两种，分别是operator state（算子状态）和keyed state（键控状态）。
Flink详解之七--状态管理
wr_java的博客
04-13 211
FsStateBackend将运行时状态保存在TaskManager内存中，CheckPoint时，会将状态快照保存在指定的文件系统目录中，只会将少量元数据保存在JobManager，而高可用模式下，会将元数据保存在CheckPoint元数据文件中。Kafka连接器是在Flink中使用算子状态的一个很好的例子。由于存储空间的限制，以及当作业重启时状态会丢失，所以，MemoryStateBackend更适合本地开发与调试，或者状态较小并且作业重启时对状态丢失不敏感的场景，不太适合普遍意义上的生产场景中使用。
Flink（四） 状态管理 1
又小雨的博客
08-15 1138
一、状态是什么？ 1.1有状态和无状态： Flink不是要做流处理嘛。那当一个数据流过来的时候，第一个数据首先会被flink中的算子执行，执行完成 后会生成一个执行结果 这个执行后的结果，例如是输出一下，后续再过来的数据，例如第二个数据的计算就和第一个数据的计算毫无关系了，这就是无状态 这个执行后的记过。例如是需要做求和的计算，后续再过来的数据例如，的第二个数据的计算需要依赖与第一次计算的结果，这就是有状态的计算 1.2.Flink中的有状态流计算 1.2.1 flink中主要使用它的有状态计算 我们
秒懂Flink状态State-深度解读（上）『建议收藏』
热门推荐
玉皇大帝不开心
10-06 1万+
目录☆☞Overview（概述）☆☞Working with State（带状态的工作）☆☞The Broadcast State Pattern（广播状态模...
Flink中基本的State类型介绍
星空的风fly
09-20 5780
我们知道，Flink是一个默认就有状态的分析引擎，为避免Task在处理过程中挂掉了，而导致内存中的数据丢失，Flink引入了State和CheckPoint机制，其中State就是Flink的一种基于内存的状态机制，Flink提供了两种基本的状态类型。 一、基本状态Keyed State与Operator State 1、Keyed State Keyed State：顾名思义就是基于KeyedStream上的状态，这个状态是跟特定的Key绑定的。KeyedStream流上的每一个Key，都对应一个S
status-page:managed我们托管网站的正常运行时间监控和状态页面
03-28
该存储库包含由支持的托管网站的正常运行时间监控器和状态页面。 我们将“用作事件报告，将“用作正常运行时间监视器，并将“用作状态页面。 借助 ，您可以获得自己不受限制的免费正常运行时间监控器和状态页面，...
MunkiMenu:Munki 托管软件更新的状态栏项目
07-10
它位于状态栏中，是 Utilities 文件夹中“Managed Software Update.app”的包装器。 备用键 在选择菜单时按备用键将显示一些附加选项。 默认菜单 按下命令键 按下选项键 其他特性 从版本 0.3.0 开始，选择一个可...
gke-managed-certs:使用GCLB的Kubernetes集群的托管证书
05-05
托管证书 托管证书简化了管理HTTPS流量的用户流程。 现在，无需从证书颁发机构手动获取SSL证书，而是在负载均衡器上对其进行配置并按时续订，现在只需创建一个“受管证书并提供要为其获取证书的域。 证书将在必要时...
Managed-Commons:Mono.NET的托管库
05-20
什么是托管公域？ 一组MIT许可的.NET / Mono库，可在许多编程领域提供帮助。 最著名的示例是Commons.GetOptions ，它是命令行参数解析的库。 它是由发行的具有悠久历史的Mono.GetOptions库的演变。 这里还包括...
aws_managed_policies：[MAMIP]监视AWS托管的IAM策略更改
01-30
aws_managed_policies：[MAMIP]监视AWS托管的IAM策略更改
Flink源码解析之State的实现
刘人杰的博客
02-28 6163
State的实现Flink通过异步的checkpoint机制来实现流式处理过程中的容错，简单来讲就是定时地将本地的状态序列化到一个持久存储中，当出现错误是通过恢复检查点的状态来实现容错的，对于机制的详细介绍可以参见这个链接，本章主要讲述flink源码中state的实现。
Flink入门(5)--Flink的state机制
weixin_38813363的博客
03-03 568
Flink的状态机制状态类型代码实现 状态类型 managed State 和 raw state managed state: 由flink runtime托管，状态是自动存储，自动恢复的，flink在存储管理和持久化上做了一些优化。横向扩展时候，状态能够自动重新分布到多个并行实例上。flink提供常用的数据结构，ListState,MapState raw state: 开发者自己管理，以字节数组存储，用户自定义算子 keyed State: 是keyedstream上的状态，每个key对应自己的状态
flink重启策略配置和raw state demo
epitomizelu的专栏
06-06 527
package flink.status; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.flink.api.common.state.ListState; import org.apache.flink.api.common.state.ListStateDescriptor; import org.apache.flink.api.common.state.StateDes
3.2、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 State的工作原理
飞朋的博客
08-29 822
目录 Keyed State and Operator State（两种基本State） Raw and Managed State（两个基本状态的存在形式） Using Managed Keyed State（如何使用） 状态有效期（TTL） 使用Managed Operator State Stateful Source Functions（带状态的Source Functions...
Flink学习笔记(5) -- Flink 状态(State)管理与恢复
小道的博客
12-31 5080
  我们前面写的word count的例子，没有包含状态管理。如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义上(at least once, exactly once)，Flink引入了state和checkpoint。   首先区分一下两个概念，state一般指一个具体的task/operator的状态【state数据默认保存...
Flink之状态管理与容错机制
alex大喵的博客
06-28 887
1 状态管理的基本概念 1.1 什么是状态 1.1.1 无状态的例子：消费延迟计算 消息队列： 一个生产者持续写入，多个消费组分别读取，如何实时统计每个消费者落后多少条数据？ //输入 { "timestamp": 1555516800, "offset": { "producer": 16, "consumer0": 10, "consumer1": 7, "c...
Flink状态管理：Keyed State和Operator List State深度解析
皮皮鲁的AI星球
01-28 2080
本文将重点跟大家讲解Flink的状态管理机制，包括状态要解决的问题、Flink几种不同类型的状态、Keyed State和Operator List State的使用方法等。相关代码参见的github：https://github.com/luweizheng/flink-tutorials。图片文字均为原创，转载请联系本专栏。 为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因...
Flink的State概述
走在前往架构师的路上
01-18 7679
文章目录前言Flink的State类型基本类型划分组织形式划分 前言 当我们经常在谈论一个Flink任务是否是有状态的，此时我们谈论的点其实就是Flink内部的State的概念。但是这里的State的概念已经不是单纯指我们平时所说的Event–>State这样的比较固定的概念，更确切地说，它是一种运行间的数据信息。这些状态数据在容错恢复及checkpoint时将起到很关键的作用。本文笔者来...
【大数据】带你理解flink的state概念
Chenftli的博客
04-12 1270
文章目录一、概述1、简介2、 State backend2.1、MemoryStateBackend2.2、FsStatebackend：2.3、 RocksDBStateBackend二、state的类型1、原生状态(raw state)2、托管状态(managed state)3、两种形式3.1 Operator State(算子状态)3.2 keyed State(键控状态)3.2.1、ValueState3.2.2、ListState3.2.3、MapState3.2.4、ReducingState
flink managedstate 和rawstate
最新发布
05-19
Flink 中的状态可以分为 Managed State 和 Raw State 两种类型。 Managed State 是由 Flink 管理的一种状态，它可以被 Flink 自动地持久化、恢复和管理。Managed State 通常是使用 Flink 的 Keyed State API 或 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值