flink 键控状态（keyed state）

最新推荐文章于 2024-11-30 17:26:23 发布
最新推荐文章于 2024-11-30 17:26:23 发布
阅读量1.6k 收藏 1
点赞数 2
分类专栏： flink-note代码解析 文章标签： flink java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cobracanary/article/details/129284771
版权
本文深入探讨了Flink中的键控状态，包括ValueState、ListState、ReducingState、AggregatingState和MapState五种类型，并通过实例展示了如何在KeyedStream上使用这些状态来统计用户购买次数和记录最近三次登录时间。同时提供了项目的GitHub链接供参考。
摘要由CSDN通过智能技术生成

github开源项目flink-note的笔记。本博客的实现代码都写在项目的flink-state/src/main/java/state/keyed/KeyedStateDemo.java文件中。
项目github地址： github

1. flink键控状态

flink键控状态是作用与flink KeyedStream上的，也就是说需要将DataStream先进行keyby之后才能使用。键控状态会为每个key维护一份状态。flink支持五种键控状态，分别是：

  • ValueState: 维护一个值的状态，比方说我们要统计每个用户的购买次数，那么就先将流按照用户id进行keyby，然后维护一个类型为Integer的ValueState。 这个值可以被update(T)更新，使用T value()进行获取。
  • ListState ：维护一个list的状态，可以使用 add(T) 、 addAll(List)、update(List)来更新列表状态中的值，使用Iterable get()来获取list中的值。
  • ReducingState 与ListState类似，只是将所有值都reduce出一个结果。
  • AggregatingState<
了解本专栏 订阅专栏 解锁全文
大数据_Flink_Java版_状态管理(3)_键控状态---Flink工作笔记0062
添柴程序猿的专栏
03-23 379
然后我们来看keyedState,键控状态,这里可以看到,流过来的数据,可以看到,上面task1,task2是, 一个任务的两个并行子任务,然后,流向task1的,有两个key,一个是蓝色,一个是黄色,那么这时候, 在子任务task1的内存中就会,存蓝色的状态,和黄色的状态,后面再来了数据以后,当黄色的这个 数据再来了以后,他只能使用在task1内存中存的,黄色数据的状态.也就是说对应的数据,经过hash以后,只能使用自己hash值的,状态. 同样task2也是这样,这个过程,会被flink给咱..
【Flink】Flink keyed State多年的误解 以及 Keyed state redistribute
九师兄
08-29 521
首先说说我对flink key state 多年的误解。以前我一直以为key State是类似这样的假设数据如上，我原先以为当数据经过key的时候，流经下游的时候，数据是在下游根据key分组，如果key不存在，那么就增加一个key，如果存在，那么就放到一起，然后计算存储一个state，因此key state 每个不同的key之间是隔离的。我这里错误的理解每个key在每个算子的每个并行度的task上，都会有一份或者平分，key1在并行度1上，key2在并行度2上。
Flink---键控状态（keyed state）
Knight
07-03 3012
键控状态是根据输入数据流中定义的键（key）来维护和访问的。Flink 为每个键值维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个 key 对应的状态。当任务处理一条数据时，它会自动将状态的访问范围限定为当前数据的 key。因此，具有相同 key 的所有数据都会访问相同的状态。Keyed State 很类似于一个分布式的 key-value map 数据结构，只能用于 KeyedStream（keyBy 算子处理之后）。 Flink 的 Keyed State
Flink四大基石之State(状态) 的使用详解
最新发布
天冬忘忧的博客
11-30 1588
在大数据流处理领域，Apache Flink 凭借其卓越的性能和丰富的功能备受青睐。而 Flink 中的状态（State）管理机制，更是支撑复杂流处理任务的关键支柱。无论是数据去重、模式匹配还是窗口聚合分析，状态管理都发挥着不可或缺的作用。本文将深入浅出地剖析 Flink 状态相关知识，结合实际代码案例助你理解这一重要概念。
Flink 的键控状态和操作符状态
互联网知识分享
08-19 319
键控状态是中一种重要的状态管理方式，它允许用户在流处理应用中存储和访问与特定键相关的状态。在流处理应用中，键控状态可用于存储和更新与特定键相关的信息，比如某个键的累加计数或最近的事件记录等。通过键控状态，Flink可以保持对流中每个键的状态进行跟踪和维护，从而使得应用可以根据键的属性进行灵活的处理和计算。1.键控状态的类型Flink提供了不同类型的键控状态，包括：ValueState：用于存储单个值的状态。ListState：用于存储列表的状态。MapState。
Flink keyed State
tom_fans的博客
06-16 358
Flink做sum, reduce等聚合的时候，我们一般直接使用Flink自带的sum, reduce来完成，有的需求需要自己写代码来完成。这其中的原理就是keyed state. 具体 可以参考： https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/state/state.html 所以keyed state就是状态的意思，根据key做分区，每次计算的值要做记录，这样下次可以在这个 值的基础上做累加，.
掌握Flink键控状态（Keyed State）：深入指南与实践
2402_85761468的博客
08-06 1011
在Flink中，键控状态是与特定键相关联的状态，每个键可以有自己的状态副本。键控状态对于需要对每个分组键分别进行计算的场景非常有用，例如，计算每个用户的点击总数。
Flink 算子状态与键控状态总结
congge_study的博客
03-26 5429
Flink 算子状态与键控状态总结
Flink Keyed State ，Operator State 作用 区别 用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 3963
看了那么多文章，说的模糊，很多都是直接翻译的！！！！ 加上自己的理解，写一篇。 为什么需要State？作用是什么？ 1 保存中间结果，实现某些功能 2 方便保存到检查点中，便于从检查点恢复 区别 一个算子的并行度是多少，就有多少个子任务。如果不同的key比较多，该算子的并行度低，那么一个子任务会处理多个key流。 Keyed State 与key相关，Operator State与key无关。 实现Operator State，需要手动实现CheckpointedFuncti...
Flink Keyed State 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 4406
1 sourceStream必须要先keyBy然后才能使用Keyed State 2 需要继承RichxxxxFunction才行，在open之前声明，在open中初始化，在算子方法中使用和处理。不能继承xxxxxFunction，因为没有open方法，无法初始化，会报错。 3 open方法中只能初始化Keyed State，无法使用Keyed State（比如：获取值等操作），不然报错。因为open方法不属于Keyed上下文，算子方法才属于Keyed上下文 并行度是1： package Stat
java Flink（十二）Flink状态之键控状态（keyed state）
qq_40771567的博客
04-07 1487
键控状态 键控状态是根据输入数据流中定义的键（key）来维护和访问的。Flink 为每个键值维护 一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护 和处理这个 key 对应的状态。当任务处理一条数据时，它会自动将状态的访问范围限定为当 前数据的 key。因此，具有相同 key 的所有数据都会访问相同的状态。K键控状态是根据输入数据流中定义的键（key）来维护和访问的。Flink 为每个键值维护 一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护
Flink的keyedState
weixin_43466909的博客
04-05 2513
State状态 StateBackEnd CheckPointing 重启策略 CheckPointingMode 重启策略详解 固定次数的重启策略 package cn._51doit.flink.day06; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.restartstrategy..
11、Flink 的 Keyed State 详解
猫猫爱吃小鱼粮
05-01 1592
Flink 的 Keyed State 详解
Flink 状态编程（二）按键分区状态（Keyed State）
weixin_45417821的博客
04-26 1218
文章目录基本概念和特点支持的结构类型代码实现 在实际应用中，我们一般都需要将数据按照某个 key 进行分区，然后再进行计算处理；所以最为常见的状态类型就是 Keyed State。 另外，我们还可以通过富函数类（Rich Function）对转换算子进行扩展、实现自定义功能，比如 RichMapFunction、RichFilterFunction。在富函数中，我们可以调用.getRuntimeContext()获取当前的运行时上下文（RuntimeContext），进而获取到访问状态的句柄；这种富函数中自
Flink的状态管理
止于终老的博客
06-02 358
状态是指在流处理过程中需要保持的数据，它可以是中间计算结果、窗口聚合结果或用户自定义的状态信息。键控状态（Keyed State）：根据流数据的键值对进行管理的状态，每个键对应一个状态。操作符状态（Operator State）：与算子相关的状态，不依赖于键值对，通常用于维护全局的中间结果。列表状态（List State）：维护一组元素的状态，可以添加、删除和更新列表中的元素。联合列表状态（Union List State）：用于将多个列表状态合并为一个列表状态。
Flink -- Keyed State
weixin_33695450的博客
09-28 484
/* &lt;pre&gt;{@code * DataStream&lt;MyType&gt; stream = ...; * KeyedStream&lt;MyType&gt; keyedStream = stream.keyBy("id"); * * keyedStream.map(new RichMapFunction&lt;My...
Flink状态和键控流
qq_43523503的博客
03-18 546
6.8 Flink状态编程 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。 6.8.1 Flink中的状态分类 Flink包括两种基本类型的状态Managed State和Raw State Managed State Raw State 状态管理方式 Flink Runtime托管, 自动存储, 自动恢复, 自动伸缩 用户自己管理 状态数据结构 Flink提供多种常用数据结构, 例如:ListState,
聊聊flink的Managed Keyed State
weixin_33910759的博客
12-22 241
序 本文主要研究一下flink的Managed Keyed State State flink-core-1.7.0-sources.jar!/org/apache/flink/api/common/state/State.java /** * Interface that different types of partitioned ...
flink状态管理-keyed
大数据星球-浪尖
04-29 1430
Flink主要有两种基础类型的状态：keyed state 和operator state。1Keyed StateKeyed State总是和keys相关，并且只能用于...
Flink状态管理详解：算子与键控状态，一致性与后端
2. **键控状态（KeyedState）**：针对数据流中的键进行维护，Flink为每个唯一的键维护一个独立的状态实例。数据按照键被分区到特定任务中，这样每个任务负责处理同一键的数据，确保了状态的一致性和隔离性。Flink...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

canaryW

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值