【Flink】Flink KeyGroupRange {startKeyGroup=7,endKeyGroup=12} does not contain key group 45

已于 2024-04-09 11:17:29 修改
阅读量957 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink key group
于 2021-11-23 21:27:19 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120515522
版权
大数据-flink 专栏收录该内容
838 篇文章 848 订阅 ¥99.90 ¥299.90
订阅专栏
这篇原创文章由博主九师兄分享，讲述了在使用Flink过程中遇到的一个问题，即在汇聚操作中清空了对象的key值，导致KeyGroupRange不包含特定的key组45，引发错误。文章通过测试类复现了问题，并提供了异常栈信息以供分析。
摘要由CSDN通过智能技术生成

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

文章目录


在这里插入图片描述

1.概述

我的key（维度字段）是动态的，存在map里面，我计算的时候直接把map清空了

我是一个对象传到汇聚里面的，也是对对象直接计算，然后我把维度字段置空了

就是在汇聚的过程中清理了对象的key值

报错如下 KeyGroupRange {startKeyGroup=7,endKeyGroup=12} does not contain key group 45

在这里插入图片描述
在这里插入图片描述

2. 测试类

想复现这个问题，【flink】flink 报错 key group from 44 to 45 does not contain 4 结果一不小心复现了这个问题。
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flink 里面, KeyGroup, KeyGroupEntry, KeyGroupRange 他们的关系简要说明
hzymarine的博客
03-15 298
flink 里面, KeyGroup, KeyGroupEntry, KeyGroupRange 他们的关系简要说明
【Flink纠错】IllegalArgumentException: key group from 44 to 45 does not contain 4
ChengYanan的博客
01-29 1549
二次keyby的原因是为了解决数据倾斜问题,第一个keyby用来基于EventTime的翻滚窗口，第二个keyby使用了基于processTime的session窗口 DataStream stream = dataStream .keyBy(keyBy(globalParallelism)) .window(window(downsampling)) .reduce(reduce(trackerType), processWindow(track
Flink 第8.2章 Flink 的键组 KeyGroup 与 缩放 Rescale
青冬的博客
04-06 2877
序 参考： Flink状态的缩放（rescale）与键组（Key Group）设计_LittleMagics的博客-CSDN博客 【Flink】Flink key 应该分配到哪个 KeyGroup 以及 KeyGroup 分配在哪个subtask_九师兄的博客-CSDN博客_flink key 总览： 共计2k字，阅读时间10min。 前言 在 Flink 中，有很多数据需要进行保存，而且以及集群的方式进行保存以及重现。在分布式中的保存以及回复是很难实现的。那么我们先看看 Fli...
Flink状态的缩放（rescale）与键组（Key Group）设计
LittleMagic's Blog
02-02 7830
前言 在之前那篇讲解Flink Timer的文章里，我曾经用三言两语简单解释了Key Group和KeyGroupRange的概念。实际上，Key Group是Flink状态机制中的一个重要设计，值得专门探究一下。本文先介绍Flink状态的理念，再经由状态——主要是Keyed State——的缩放（rescale）引出KeyGroup的细节。 再认识Flink状态 自从开始写关于F...
Flink 源码: 从 KeyGroup 到 Rescale
雾岛与鲸的博客
12-21 913
通过阅读本文你能 get 到以下点： KeyGroup、KeyGroupRange 介绍 maxParallelism 介绍及采坑记 数据如何映射到每个 subtask 上？ 任务改并发时，KeyGroup rescale 的过程 一、 KeyGroup、KeyGroupRange 介绍 Flink 中 KeyedState 恢复时，是按照 KeyGroup 为最小单元恢复的，每个 KeyGroup 负责一部分 key 的数据。这里的 key 指的就是 Flink 中 keyBy 中提取的 key。 每
Flink之 group by
01-07
1、 如果使用 groupby table转换为流的时候只能用toRetractDstream val rDstream: DataStream[(Boolean, (String, Long))] = table.toRetractStream[(String,Long)] 2、 toRetractDstream 得到的第一个boolean型...
iceberg-flink-1.13-runtime-7f10407.jar
12-01
flink-1.13.2 iceberg0.13
flink如何写入Elasticsearch5和Elasticsearch7
01-30
在7.x版本中，Flink的Elasticsearch连接器的artifactId更改为`flink-connector-elasticsearch7_2.11`。 punk 2: 代码示例 ```java public class Es7SinkDemo { public static void main(String[] args) throws ...
flink1.18.1安装包
05-29
Flink 1.18.1 是一个高度可扩展的开源流处理框架，适用于实时数据流分析和批处理。在Linux环境下安装Flink 1.18.1，需要遵循以下步骤，确保系统具备必要的环境并正确配置。 首先，确保你的Linux系统上已经安装了...
Flink集成hive
02-28
### Flink集成Hive知识点详解 #### 一、Flink与Hive集成概述 Apache Flink 是一个用于处理无界和有界数据流的开源流处理框架，它提供了丰富的API来构建复杂的数据处理管道。而Apache Hive则为用户提供了一种SQL的...
group by range
weixin_33928137的博客
11-12 113
建立测试表 testdb=# CREATE TEMP TABLE team ( id serial, name text, birth_year integer, salary integer ); 插入记录 testdb=# INSERT INTO team (name, birth_year, salary) VALUES ('Gabriel', 1...
[Flink]Flink1.3 指南五 指定keys
SmartSi
10-23 4875
一些转换(例如，join，coGroup，keyBy，groupBy)要求在一组元素上定义一个key。其他转换(Reduce，GroupReduce，Aggregate，Windows)允许在使用这些函数之前对数据进行分组。一个DataSet进行分组如下:DataSet input = // [...] DataSet reduced = input.groupBy(/*define key he
ping_group_range
m0_43406494的博客
05-18 759
ping_group_range的值为两个整数，分别代表允许创建ICMP Echo sockets的最小和最大的组ID（闭区间），默认是"1 0"，意味着没有组允许创建ICMP Echo sockets。 设置为"100 100"，则运行组ID为100的这个组，设置为"0 4294967295" 则允许所有组。 ...
Flink中对keyBy的探究
热门推荐
dinghua_xuexi的专栏
08-01 2万+
0 摘要 在Flink实时流数据处理中，经常用到keyBy算子, 虽然能够大致不差的使用它，实现自己的需求。然而这个算子到底做了什么事情，心里一直没有底。这篇文章算是对keyBy算子稍微深入一点的探究。 1 Spark中的按key分组操作 对于经常使用spark的同学而言，分组操作数据，那是再熟悉不过。比如groupBy, reduceBy, aggregateBy等一系列算子。基本思路都是指定key之后, 将相同key的元素集合到一个集合里面，形成一个新的集合元素，...
Flink 系例 之 KeyBy
不会飞的小龙人的博客
11-22 2675
KeyBy算子：将数据流按照指定key进行分区（分组） 示例环境 java.version: 1.8.x flink.version: 1.11.1 示例数据源（项目码云下载） Flink 系例 之 搭建开发环境与数据 KeyBy.java package com.flink.examples.functions; import com.flink.examples.DataSource; import org.apache.flink.api.java.functions.Key...
flink周边使用技巧与汇总
努力工作学习的程序员
08-22 596
如果只需要将数据发送到 Sink 而不需要容错机制，可以选择使用addSink。如果需要 Sink 支持状态管理和容错，则应该使用sinkTo。
（十二）Flink Table API
最新发布
springk的专栏
08-22 44
Table API 是批处理和流处理的统一的关系型 API。Table API 的查询不需要修改代码就可以采用批输入或流输入来运行。Table API 是 SQL 语言的超集，并且是针对 Apache Flink 专门设计的。本章我们将讲解 Table API 具体使用方法，并针对常见的 Join 操作提供完整案例。
9、Flink 流式概念之状态化更新与演化详解
猫猫爱吃小鱼粮
08-22 50
Flink 流式概念之状态化更新与演化详解
flink.checkpoint.maxcurrent=1
07-14
`flink.checkpoint.maxcurrent=1` 是一个配置参数，用于设置 Apache Flink 应用程序的最大并行检查点数。 在 Apache Flink 中，检查点是为了实现容错性而创建的应用程序状态的一致性快照。检查点操作涉及将应用程序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值