【Flink】Flink keyed State多年的误解 以及 Keyed state redistribute

已于 2023-12-23 15:01:41 修改
阅读量465 收藏 2
点赞数 1
分类专栏： 大数据-flink 文章标签： flink Keyed State Redistribute
于 2021-08-29 14:50:34 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/119980273
版权
大数据-flink 专栏收录该内容
837 篇文章 841 订阅 ¥99.90 ¥99.00
订阅专栏

文章目录


在这里插入图片描述

1.概述

首先说说我对flink key state 多年的误解。以前我一直以为key State是类似这样的

在这里插入图片描述
假设数据如上，我原先以为当数据经过key的时候，流经下游的时候，数据是在下游根据key分组，如果key不存在，那么就增加一个key，如果存在，那么就放到一起，然后计算存储一个state，因此key state 每个不同的key之间是隔离的。

我这里错误的理解每个key在每个算子的每个并行度的task上，都会有一份或者平分，key1在并行度1上，key2在并行度2上。

这里这样理解有错误的，可以参考文章：【Flink】Flink Key State 和

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink大数据实时计算系列-Flink的Operator State与Keyed State的Redistribute
段智华的博客
06-25 234
Flink大数据实时计算系列-Flink的Operator State与Keyed State的Redistribute 目录 Flink的Operator State与Keyed State的RedistributeFlink参考链接Flink系列博客 Flink的Operator State与Keyed State的Redistribute Flink参考链接 【Flink 官网】Apache Flink 【海牛学院】海牛社区资料 【海牛学院】大数据2020最新版Flink-青牛老师倾力打造 Fli
flink的key-state
qq_44698610的博客
10-28 240
同key的进行状态计算，比较两者的区别 package com.uu.state import java.util.Date import com.uu.two.Humman import com.uu.two.utils.DateTrans import org.apache.flink.api.common.functions.RichFlatMapFunction import org.apache.flink.api.common.state.{ValueState, ValueStateDes
Flink的keyedState
weixin_43466909的博客
04-05 2459
State状态 StateBackEnd CheckPointing 重启策略 CheckPointingMode 重启策略详解 固定次数的重启策略 package cn._51doit.flink.day06; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.restartstrategy..
Operator、Keyed State及Redistribute
weixin_30917213的博客
08-17 133
1.Operator State使用 目前Operator State托管状态只是支持List类型的 (在使用Operator State时，要注意并行度的问题，很有可能因为并行度设置大于1，影响预期效果) 1.1 实现CheckpointedFunction接口 必须实现的两个方法： @Override public void initializeState...
flink的六大keyState（Java语言和Scala语言描述）
qq_44962429的博客
02-21 1886
1.valueState ValueState：这将保留一个可以更新和检索的值（作用域为输入元素的键，因此该操作看到的每个键可能会有一个值）。该值可以使用设置update(T)和使用检索 T value()。 1.1 java语言描述 valueState功能定义:对输入的数据数量统计,当数量达到2时,输出清零,之后继续统计。 package javaState.valuestate; impo...
Flink State体系剖析以及案例实践
最新发布
01-13
Flink State体系剖析以及案例实践，State按照是否有Key划分KeyedState和OperatorState两种。按照数据结构不同，flink定义了多种state，分别应用于不同的场景，具体实现如下：ValueState、ListState、MapState、...
Flink笔记(二十二)：Flink 之 KeyedState 的使用
01-07
 不使用 Flink 提供的 sum() 方法，使用 KeyedState 完成对单词分组求和计算操作。 代码： /** * TODO 不使用 Flink 提供的sum()方法，对单词进行分组求和计算。 * * @author liuzebiao * @Date 2020-2-17 11:...
flink-queryable-state-client-java-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-queryable-state-client-java-1.10.0.jar； 赠送原API文档：flink-queryable-state-client-java-1.10.0-javadoc.jar； 赠送源代码：flink-queryable-state-client-java-1.10.0-sources.jar； 赠送...
Flink state 优化以及远程 state 的探索.pdf
03-21
在 Flink 中，状态可以分为两种类型：Keyed State 和 Operator State。Keyed State 是一种特殊的状态，用于存储 Key-Value 对，例如，计数器、聚合器等。Operator State 是一种通用的状态，用于存储 Operator 的执行...
Flink状态的缩放（rescale）与键组（Key Group）设计
LittleMagic's Blog
02-02 7677
前言 在之前那篇讲解Flink Timer的文章里，我曾经用三言两语简单解释了Key Group和KeyGroupRange的概念。实际上，Key Group是Flink状态机制中的一个重要设计，值得专门探究一下。本文先介绍Flink状态的理念，再经由状态——主要是Keyed State——的缩放（rescale）引出KeyGroup的细节。 再认识Flink状态 自从开始写关于F...
Flink状态概念--KeyedState示例
JinVijay的博客
02-20 924
ValueSate /** * * ValueState的底层实现 * Flink中的State分为两种:KeyedState(keyBy之后对应的State),和OperatorState(没有keyBy的State) * * ValueState是KeyedState中的一种 * * 1.KeyedState是KeyedState中的一种 * 2.如果想要容错,必须要开启checkpointing,并且按照Flink的状态API进行编程(将中间结果保存在Flink特殊的变量中) *
聊聊flink的Managed Keyed State
weixin_33971977的博客
12-22 190
序 本文主要研究一下flink的Managed Keyed State State flink-core-1.7.0-sources.jar!/org/apache/flink/api/common/state/State.java /** * Interface that different types of partitioned state must implement. * * &l...
Flink状态专题：keyed state和Operator state
weixin_30409849的博客
08-01 357
众所周知，flink是有状态的计算。所以学习flink不可不知状态。 正好最近公司有个需求，要用到flink的状态计算，需求是这样的，收集数据库新增的数据。 听起来很简单对吧？起初我也这么认为，现在发现，这尼玛就是变相的动态读取啊。 　　因为数据是一直在增加的，你需要记录这次收集的结果，用于下一次的运算，所以要用到状态计算。 　　废...
Flink key state 为何仅与 key 有关的
shengjk1的博客
05-26 428
1. 依赖 2. 以 RocksDBListState 为例 2.1 add、get 方法讲解 2.2 关键性方法讲解 3. 结论 1. 依赖 前面两篇我已经讲过 Flink getRuntimeContext().getMapState的时候发生了什么？以及 Flink StateDescriptor Name的作用。 今天我们在这个的基础上一起来看一下，为什么 key state 仅仅与 key 有关，无论我取数据还是修改数据，仅仅只能取到(修改)这个key 对应的那一部分。 2...
Flink Streaming keyedState的理解和使用
alike_u的博客
09-01 392
前言： 本文所有理解、资料、图片基本上都是来源于官网，更多的是对官网描述的一个总结和概括。 一、什么是state State直译上去是”状态”一次，这个有点抽象难以理解。那什么是状态，究竟如何应用到我们的编码过程当中呢？在流式编程中，基本的处理流程是来一条数据，我就处理一条，这种单条和单条数据之间的处理很难形成一个对数据的分析，以下面的Access日志为例，我们对类似于这样的流式数据求一个实时访问量需求。 Access IP地址 服务商 页面地址 1...
Flink---键控状态（keyed state）
Knight
07-03 2900
键控状态是根据输入数据流中定义的键（key）来维护和访问的。Flink 为每个键值维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个 key 对应的状态。当任务处理一条数据时，它会自动将状态的访问范围限定为当前数据的 key。因此，具有相同 key 的所有数据都会访问相同的状态。Keyed State 很类似于一个分布式的 key-value map 数据结构，只能用于 KeyedStream（keyBy 算子处理之后）。 Flink 的 Keyed State
Flink 之 KeyedState 的使用
扛麻袋的少年的博客
02-17 2322
Flink学习笔记(二十二)：场景：         不使用 Flink 提供的 sum() 方法，对单词进行分组求和计算。 代码： /** * TODO 不使用 Flink 提供的sum()方法，对单词进行分组求和计算。 * * @author liuzebiao * @Date 2020-2-17 11:42 */ public cl...
Flink流计算编程--如何实现基于KEY/VALUE的List State
lmalds的专栏
08-17 6202
Flink ListState

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值