【Flink】Flink keyed State多年的误解 以及 Keyed state redistribute

已于 2023-12-23 15:01:41 修改
阅读量465 收藏 2
点赞数 1
分类专栏： 大数据-flink 文章标签： flink Keyed State Redistribute
于 2021-08-29 14:50:34 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/119980273
版权
大数据-flink 专栏收录该内容
837 篇文章 841 订阅 ¥99.90 ¥99.00
订阅专栏

文章目录


在这里插入图片描述

1.概述

首先说说我对flink key state 多年的误解。以前我一直以为key State是类似这样的

在这里插入图片描述
假设数据如上，我原先以为当数据经过key的时候，流经下游的时候，数据是在下游根据key分组，如果key不存在，那么就增加一个key，如果存在，那么就放到一起，然后计算存储一个state，因此key state 每个不同的key之间是隔离的。

我这里错误的理解每个key在每个算子的每个并行度的task上，都会有一份或者平分，key1在并行度1上，key2在并行度2上。

这里这样理解有错误的，可以参考文章：【Flink】Flink Key State 和

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink大数据项目实战
01-18
本课程基于某电商公司运营实时分析系统（2B），进行全方位、无死角系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。
Flink状态概念--KeyedState示例
JinVijay的博客
02-20 924
ValueSate /** * * ValueState的底层实现 * Flink中的State分为两种:KeyedState(keyBy之后对应的State),和OperatorState(没有keyBy的State) * * ValueState是KeyedState中的一种 * * 1.KeyedState是KeyedState中的一种 * 2.如果想要容错,必须要开启checkpointing,并且按照Flink的状态API进行编程(将中间结果保存在Flink特殊的变量中) *
Flink的keyedState
weixin_43466909的博客
04-05 2459
State状态 StateBackEnd CheckPointing 重启策略 CheckPointingMode 重启策略详解 固定次数的重启策略 package cn._51doit.flink.day06; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.restartstrategy..
flink的六大keyState（Java语言和Scala语言描述）
qq_44962429的博客
02-21 1886
1.valueState ValueState：这将保留一个可以更新和检索的值（作用域为输入元素的键，因此该操作看到的每个键可能会有一个值）。该值可以使用设置update(T)和使用检索 T value()。 1.1 java语言描述 valueState功能定义:对输入的数据数量统计,当数量达到2时,输出清零,之后继续统计。 package javaState.valuestate; impo...
Flink状态的缩放（rescale）与键组（Key Group）设计
LittleMagic's Blog
02-02 7677
前言 在之前那篇讲解Flink Timer的文章里，我曾经用三言两语简单解释了Key Group和KeyGroupRange的概念。实际上，Key Group是Flink状态机制中的一个重要设计，值得专门探究一下。本文先介绍Flink状态的理念，再经由状态——主要是Keyed State——的缩放（rescale）引出KeyGroup的细节。 再认识Flink状态 自从开始写关于F...
Flink State体系剖析以及案例实践
最新发布
01-13
Flink State体系剖析以及案例实践，State按照是否有Key划分KeyedState和OperatorState两种。按照数据结构不同，flink定义了多种state，分别应用于不同的场景，具体实现如下：ValueState、ListState、MapState、...
Flink笔记(二十二)：Flink 之 KeyedState 的使用
01-07
 不使用 Flink 提供的 sum() 方法，使用 KeyedState 完成对单词分组求和计算操作。 代码： /** * TODO 不使用 Flink 提供的sum()方法，对单词进行分组求和计算。 * * @author liuzebiao * @Date 2020-2-17 11:...
flink-queryable-state-client-java-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-queryable-state-client-java-1.10.0.jar； 赠送原API文档：flink-queryable-state-client-java-1.10.0-javadoc.jar； 赠送源代码：flink-queryable-state-client-java-1.10.0-sources.jar； 赠送...
Flink state 优化以及远程 state 的探索.pdf
03-21
在 Flink 中，状态可以分为两种类型：Keyed State 和 Operator State。Keyed State 是一种特殊的状态，用于存储 Key-Value 对，例如，计数器、聚合器等。Operator State 是一种通用的状态，用于存储 Operator 的执行...
flink的key-state
qq_44698610的博客
10-28 240
同key的进行状态计算，比较两者的区别 package com.uu.state import java.util.Date import com.uu.two.Humman import com.uu.two.utils.DateTrans import org.apache.flink.api.common.functions.RichFlatMapFunction import org.apache.flink.api.common.state.{ValueState, ValueStateDes
Flink---键控状态（keyed state）
Knight
07-03 2900
键控状态是根据输入数据流中定义的键（key）来维护和访问的。Flink 为每个键值维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个 key 对应的状态。当任务处理一条数据时，它会自动将状态的访问范围限定为当前数据的 key。因此，具有相同 key 的所有数据都会访问相同的状态。Keyed State 很类似于一个分布式的 key-value map 数据结构，只能用于 KeyedStream（keyBy 算子处理之后）。 Flink 的 Keyed State
Flink Keyed State 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 4206
1 sourceStream必须要先keyBy然后才能使用Keyed State 2 需要继承RichxxxxFunction才行，在open之前声明，在open中初始化，在算子方法中使用和处理。不能继承xxxxxFunction，因为没有open方法，无法初始化，会报错。 3 open方法中只能初始化Keyed State，无法使用Keyed State（比如：获取值等操作），不然报错。因为open方法不属于Keyed上下文，算子方法才属于Keyed上下文 并行度是1： package Stat
Flink 之 KeyedState 的使用
扛麻袋的少年的博客
02-17 2322
Flink学习笔记(二十二)：场景：         不使用 Flink 提供的 sum() 方法，对单词进行分组求和计算。 代码： /** * TODO 不使用 Flink 提供的sum()方法，对单词进行分组求和计算。 * * @author liuzebiao * @Date 2020-2-17 11:42 */ public cl...
Flink的KeyedStateStore的5中state
weixin_42412645的博客
07-23 709
KeyedStateStore有ValueState，ListState，ReducingState，AggregatingState，MapState5中状态。下面实现这5种状态示例。 1.KeyedStateStore接口的所有get方法 2.ValueState DataStream<MyType> stream = ...; KeyedStream<MyType...
Flink流计算编程--如何实现基于KEY/VALUE的List State
lmalds的专栏
08-17 6202
Flink ListState
Flink原理与实现：详解Flink中的状态管理
weixin_34214500的博客
10-19 1634
Flink原理与实现系列文章 ： Flink 原理与实现：架构和拓扑概览Flink 原理与实现：如何生成 StreamGraphFlink 原理与实现：如何生成 JobGraphFlink原理与实现：如何生成ExecutionGraph及物理执行图Flink原理与实现：Operator Chain原理 上面Flink原理与实现的文章中，有引用word c...
flink状态管理-keyed
大数据星球-浪尖
04-29 1385
Flink主要有两种基础类型的状态：keyed state 和operator state。1Keyed StateKeyed State总是和keys相关，并且只能用于...
flink-14 flink之State类型
a3125504x的博客
09-22 2118
flink之Statestate概述state类型operator statekey state state概述 state一般指一个具体的task/operator的状态，state数据默认保存在java的堆内存中。 flink通过state和checkpoint更容易实现At -least-once 和 Exactly-once state流程 state类型 flink有两种基本类型的state operator state keyed state 每种类型的state都可以以两种形式存在

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值