【Flink】Flink 的状态描述符 StateDescriptor operator state key state

最新推荐文章于 2024-02-15 14:50:05 发布
最新推荐文章于 2024-02-15 14:50:05 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： 大数据-flink 文章标签： flink 状态描述符 state StateDescriptor
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106748880
版权
大数据-flink 专栏收录该内容
854 篇文章 856 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Flink的状态描述符StateDescriptor，详细讲解了Managed State和Raw State的区别，以及operator state和keyed state的使用。重点讨论了keyed state的五种类型：ValueState、ListState、MapState、ReducingState和AggregatingState，并提供了使用示例。同时，文章还提到了状态的TTL设置和不同类型的State Backends，如MemoryStateBackend、FsStateBackend和RocksDBStateBackend。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

StateDescriptor是状态描述符的基类。 Flink 通过 StateDescriptor 定义状态，包括状态的名称，存储数据的类型，序列化器等基础信息。

State 既然是暴露给用户的，那么就需要有一些属性需要指定：state 名称、val serializer、state type info。在对应的statebackend中，会去调用对应的create方法获取到stateDescriptor中的值。Flink通过StateDescriptor来定义一个状态。这是一个抽象类，内部定义了状态名称、类型、序列化器等基础信息。与上面的状态对应，从StateDescriptor派生了ValueStateDescriptor, ListStateDescriptor等descriptor

ValueState getState(ValueSta
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Flink State状态管理原理与代码实例讲解
AI天才研究院
08-06 950
1.背景介绍 Apache Flink是一个开源流处理框架，用于大规模数据处理和分析。Flink具有高吞吐量、事件时间处理、精确一次处理语义等特性，被广泛应用于实时数据处理、历史数据分析等场景。在Flink中，状态管理是其核心功能之一，本文将对Flink中的状态管理进行深入的探讨和讲解。 2.核心概念与联系
06_Flink Streaming State
codemosi的专栏，点击我可以跳到目录一栏
06-07 2172
state，状态管理可以用来物化流计算的数据，做聚合和容错。可以物化到jobmanager内存中和文件系统中。有四种类型的state，通过StreamingRuntimeContext.get对应的state。 package com.alibaba.flink.train.streaming; import org.apache.flink.api.common.functions.Rich
Flink流处理API——State API (状态管理、状态编程)
静远小和尚的博客
08-14 1423
原文链接;https://www.toutiao.com/i6860816918333358595/ 本文主要从以下几个方面介绍Flink流处理API——State API (状态管理) 一、 状态管理 Flink中的状态 A. 算子状态： B. 键控状态（Keyed State）-- 更常用 C. 状态后端（State Backends） -- 状态管理（存储、访问、维护和检查点） 二、 状态编程 版本： scala：2.11.12 Kafka：0.8.2.2
聊聊flink的StateDescriptor
weixin_34402090的博客
12-23 503
序 本文主要研究一下flink的StateDescriptor RuntimeContext.getState flink-core-1.7.0-sources.jar!/org/apache/flink/api/common/functions/RuntimeContext.java /** * A RuntimeContext contains information about the c...
Flink 源码剖析｜StateDescriptor 及其子类
最新发布
长行
02-15 739
在从中获取状态时，首先需要创建一个对应类型的，才能获取对应的状态句柄。上图为 5 种内置状态类型对应的的 UML 图，可以看到它们均继承了抽象类。
Flink实例：状态管理State 过期时间TTL
lbg20211023的博客
08-29 3274
一旦设置了 TTL，那么如果上次访问的时间戳 + TTL 超过了当前时间，则表明状态过期了（这是一个简化的说法，严谨的定义请参考org.apache.flink.runtime.state.ttl.TtlUtils类中关于 expired 的实现）。对于 RocksDB 的状态清理，则是通过 JNI 来调用 C++ 语言编写的 FlinkCompactionFilter 来实现，底层是通过 RocksDB 提供的后台 Compaction 操作来实现对失效状态过滤的。如果启用，则每次状态访问都将触发它。..
Flink的state解析（2）
weixin_46021633的博客
07-11 1716
Flink中的state是什么？ 首先flink从消息队列中读取到的每一条数据称之为事件，虽然很多操作中一次只查看一个单独的事件，但是有些操作会记录多个事件信息，这些操作称为有状态的操作。 有状态操作的一些示例： 当应用程序搜索某些事件模式时，状态将会存储目前为止遇到的时间序列。 当聚合每分钟/小时/天，状态会保存挂起的聚合。 在数据流上训练机器模型，状态会保存当前模型的参数的版本。 当需要管理历史事件，状态允许有效的访问历史事件。 Flink需要知道状态的信息，以便使用checkpoing和savep
Flink状态之 ListState 用法
cbb
01-08 3288
1.flink的基本状态 Flink有两种基本的状态：算子状态(Operator State)和键控状态(Keyed State)，他们的主要区别就是作用范围不一样，算子状态的作用范围就是限定为算子任务（也就是当前一个分区执行的时候，所有数据来了都能访问到状态）。键控状态中并不是当前分区所有的数据都能访问所有的状态，而是按照keyby之后的key做划分，当前key只能访问自己的状态。 1.1 Operator State算子状态 顾名思义，状态是和算子进行绑定的，一个算子的状态不能被其他算子所访问到。状态由
flink使用ListState实现KeyedState
weixin_43648241的博客
12-25 155
测试数据 user1,A user1,B user1,C user2,A user2,B user2,D import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.flink.api.common.state.ListState; import org.apache
Flink state使用
chanyue123的博客
03-21 3601
讲解flink的state的分类以及如何使用
Flink状态编程实战案例
cts618
07-01 457
Flink状态编程实战案例
flink状态的深入研究
11-12 1373
state存储的数据 ValueState 会存储 key、namespace、value，缩写为 <K, N, V>。 MapState 会存储 key、namespace、userKey、userValue，缩写为 <K, N, UK, UV>。 下面解释这些名词 key ValueState 和 MapState 都是 KeyedState，也就是 keyBy 后才能使用 ValueState 和 MapState。 所以 State 中肯定要保存 key。 group by
（一）flink介绍
weixin_43930865的博客
01-09 2440
flink官方文档 1：什么是flink 1.1：简介 Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算，也就是批处理和流处理的计算。 flink是依赖于资源调度平台例如Hadoop YARN、Apache Mesos和Kubernetes等进行计算的。 1.2：flink的API Flink 为开发流/批处理应用程序提供了不同级别的抽象。 1:最低级别的抽象只是提供有状态和及时的流处理。 它通过Process Function嵌入到DataStream API
flink学习笔记5-flink状态和检查点
zhaocuit的博客
06-06 1471
flink状态 要实现有且只有一次或者至少一次处理语义，需要保存相关的中间状态数据，在故障恢复时进行还原故障前系统的运行状态。在flink中，定义了操作状态和分组状态两种状态，且定义了检查点机制来定时触发检查点，触发检查点会将flink状态保存到statebackends中，所谓statebackends就是定义触发检查点后，将状态数据保存到哪里，默认是保存到jobmanager的内存中。 状态分类 操作状态（operator state）：只能运行在非keyedstream流中，如kafka作为sour
flink系列(10)-状态State和状态描述StateDescriptor
weixin_34319111的博客
05-14 7532
2019独角兽企业重金招聘Python工程师标准>>> ...
Flink StateDescriptor Name的作用
shengjk1的博客
10-31 1001
结论： ColumnFamily Name==ColumnFamilyDescirptor Name == StateDescriptor Name 解释： kuduErrorDescriptor = new ListStateDescriptor<>("test", TypeInformation.of(new TypeHint<Object>() { }));...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值