【Flink】Flink keyed State多年的误解 以及 Keyed state redistribute

已于 2023-12-23 15:01:41 修改
阅读量521 收藏 2
点赞数 1
分类专栏： 2025最新-大数据-flink 文章标签： flink Keyed State Redistribute
于 2021-08-29 14:50:34 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/119980273
版权
2025最新-大数据-flink 专栏收录该内容
854 篇文章 873 订阅 ¥99.90 ¥299.90
订阅专栏
本文探讨了对Flink Keyed State的误解，指出Keyed State并非每个并行度上都有完整的Key副本，而是基于Key Group进行分布。内容详细解释了Key Group的分配原则和过期清理策略，并提出疑问：一个KeyState代表一个Key还是一个KeyGroup？测试结果显示，`getRuntimeContext().getState()`返回的是状态句柄，每个并行度一个，用于访问Sub-Task分配到的KeyGroups中所有Keys的状态值。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

首先说说我对flink key state 多年的误解。以前我一直以为key State是类似这样的

在这里插入图片描述
假设数据如上，我原先以为当数据经过key的时候，流经下游的时候，数据是在下游根据key分组，如果key不存在，那么就增加一个key，如果存在，那么就放到一起，然后计算存储一个state，因此key state 每个不同的key之间是隔离的。

我这里错误的理解每个key在每个算子的每个并行度的task上，都会有一份或者平分，key1在并行度1上，key2在并行度2上。

这里这样理解有错误的，可以参考文章：【Flink】Flink Key State 和 Operator State 区别

或者参考视频：

了解本专栏 订阅专栏 解锁全文
Flink大数据实时计算系列-Flink的Operator State与Keyed State的Redistribute
段智华的博客
06-25 279
Flink大数据实时计算系列-Flink的Operator State与Keyed State的Redistribute 目录 Flink的Operator State与Keyed State的RedistributeFlink参考链接Flink系列博客 Flink的Operator State与Keyed State的Redistribute Flink参考链接 【Flink 官网】Apache Flink 【海牛学院】海牛社区资料 【海牛学院】大数据2020最新版Flink-青牛老师倾力打造 Fli
flink--state状态管理
longlovefilm的博客
12-29 1399
前提： 1 flink state分为三种，1）operator state是跟算子关联的 2）keyed state是跟key stream关联的 3）broadcast state, 分为批Set的广播状态和流stream的流合并，一个广播流，一个事实流。 当Flink左右从checkpoint恢复，或者从savepoint中重启的时候，就回涉及到状态的重新分配，尤其是当并行度发生改变的时...
flink的key-state
qq_44698610的博客
10-28 301
同key的进行状态计算，比较两者的区别 package com.uu.state import java.util.Date import com.uu.two.Humman import com.uu.two.utils.DateTrans import org.apache.flink.api.common.functions.RichFlatMapFunction import org.apache.flink.api.common.state.{ValueState, ValueStateDes
Flink的keyedState
weixin_43466909的博客
04-05 2513
State状态 StateBackEnd CheckPointing 重启策略 CheckPointingMode 重启策略详解 固定次数的重启策略 package cn._51doit.flink.day06; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.restartstrategy..
Operator、Keyed State及Redistribute
weixin_30917213的博客
08-17 160
1.Operator State使用 目前Operator State托管状态只是支持List类型的 (在使用Operator State时，要注意并行度的问题，很有可能因为并行度设置大于1，影响预期效果) 1.1 实现CheckpointedFunction接口 必须实现的两个方法： @Override public void initializeState...
flink的六大keyState（Java语言和Scala语言描述）
qq_44962429的博客
02-21 1972
1.valueState ValueState：这将保留一个可以更新和检索的值（作用域为输入元素的键，因此该操作看到的每个键可能会有一个值）。该值可以使用设置update(T)和使用检索 T value()。 1.1 java语言描述 valueState功能定义:对输入的数据数量统计,当数量达到2时,输出清零,之后继续统计。 package javaState.valuestate; impo...
Flink之State状态编程
shufangreal的博客
03-05 5987
Flink中的状态State 在flink中，状态始终与特定算子相关联，像reduce、sum等算子都是默认带状态的，而map、flatmap本身时不带状态的，如果需要用到状态，可以自定义 为了使运行的flink了解算子的状态，算子需要预先注册其状态 总的来说，有2种类型的状态 算子状态(Operator State) 算子状态的作用范围限定为算子任务 键控状态(keyed State)...
【深入浅出flink】第16篇：一篇文章搞懂flink中的状态、状态类型、状态缩放（rescale）和Key Group、状态后端（State backend）
雷恩Layne
02-04 3101
我们知道，Flink的一个算子可能会有多个子任务，每个子任务可能分布在不同的实例（即slot）上，我们可以把Flink的状态理解为某个算子的子任务在其当前实例上的一个变量，该变量记录了流过当前实例算子的历史记录产生的结果。当新数据记录流入时，我们需要结合该结果（即状态，State）来进行计算。
Flink状态的缩放（rescale）与键组（Key Group）设计
LittleMagic's Blog
02-02 8238
前言 在之前那篇讲解Flink Timer的文章里，我曾经用三言两语简单解释了Key Group和KeyGroupRange的概念。实际上，Key Group是Flink状态机制中的一个重要设计，值得专门探究一下。本文先介绍Flink状态的理念，再经由状态——主要是Keyed State——的缩放（rescale）引出KeyGroup的细节。 再认识Flink状态 自从开始写关于F...
掌握Flink键控状态（Keyed State）：深入指南与实践
最新发布
2402_85761468的博客
08-06 1012
在Flink中，键控状态是与特定键相关联的状态，每个键可以有自己的状态副本。键控状态对于需要对每个分组键分别进行计算的场景非常有用，例如，计算每个用户的点击总数。
11、Flink 的 Keyed State 详解
猫猫爱吃小鱼粮
05-01 1592
Flink 的 Keyed State 详解
Flink状态概念--KeyedState示例
JinVijay的博客
02-20 1001
ValueSate /** * * ValueState的底层实现 * Flink中的State分为两种:KeyedState(keyBy之后对应的State),和OperatorState(没有keyBy的State) * * ValueState是KeyedState中的一种 * * 1.KeyedState是KeyedState中的一种 * 2.如果想要容错,必须要开启checkpointing,并且按照Flink的状态API进行编程(将中间结果保存在Flink特殊的变量中) *
聊聊flink的Managed Keyed State
weixin_33971977的博客
12-22 213
序 本文主要研究一下flink的Managed Keyed State State flink-core-1.7.0-sources.jar!/org/apache/flink/api/common/state/State.java /** * Interface that different types of partitioned state must implement. * * &l...
【Flink-API】数据交换和Redistribute
09-25 286
在Flink中，是TaskManager而不是task在网络上交换数据.比如，处于同一个TM内的task,他们之间的数据交换是在- -个网络连接(TaskManager 创建并维护)上基于多路复用的。 ExecutionGraph:执行图是- -个包含job计算的逻辑的数据结构.它包含节点(ExecutionVertex, 表示计算任务),以及中间结果(IntermnediateResultPartition,表示任务产生的数据).节点通过ExecutionEdge(EE)来连接到它们要消费的中间结果:
Flink状态专题：keyed state和Operator state
weixin_30409849的博客
08-01 377
众所周知，flink是有状态的计算。所以学习flink不可不知状态。 正好最近公司有个需求，要用到flink的状态计算，需求是这样的，收集数据库新增的数据。 听起来很简单对吧？起初我也这么认为，现在发现，这尼玛就是变相的动态读取啊。 　　因为数据是一直在增加的，你需要记录这次收集的结果，用于下一次的运算，所以要用到状态计算。 　　废...
Flink key state 为何仅与 key 有关的
shengjk1的博客
05-26 460
1. 依赖 2. 以 RocksDBListState 为例 2.1 add、get 方法讲解 2.2 关键性方法讲解 3. 结论 1. 依赖 前面两篇我已经讲过 Flink getRuntimeContext().getMapState的时候发生了什么？以及 Flink StateDescriptor Name的作用。 今天我们在这个的基础上一起来看一下，为什么 key state 仅仅与 key 有关，无论我取数据还是修改数据，仅仅只能取到(修改)这个key 对应的那一部分。 2...
Flink Streaming keyedState的理解和使用
alike_u的博客
09-01 434
前言： 本文所有理解、资料、图片基本上都是来源于官网，更多的是对官网描述的一个总结和概括。 一、什么是state State直译上去是”状态”一次，这个有点抽象难以理解。那什么是状态，究竟如何应用到我们的编码过程当中呢？在流式编程中，基本的处理流程是来一条数据，我就处理一条，这种单条和单条数据之间的处理很难形成一个对数据的分析，以下面的Access日志为例，我们对类似于这样的流式数据求一个实时访问量需求。 Access IP地址 服务商 页面地址 1...
Flink中基本的State类型介绍
星空的风fly
09-20 6235
我们知道，Flink是一个默认就有状态的分析引擎，为避免Task在处理过程中挂掉了，而导致内存中的数据丢失，Flink引入了State和CheckPoint机制，其中State就是Flink的一种基于内存的状态机制，Flink提供了两种基本的状态类型。 一、基本状态Keyed State与Operator State 1、Keyed State Keyed State：顾名思义就是基于KeyedStream上的状态，这个状态是跟特定的Key绑定的。KeyedStream流上的每一个Key，都对应一个S
flink 的 State
wuhahaq的博客
04-11 2291
首先State是flink中的一个非常基本且重要的概念，本文将介绍什么是State ,如何使用State,State的存储和原理。以及State衍生的一些概念和应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值