【flink】flink 报错 key group from 44 to 45 does not contain 4

最新推荐文章于 2024-02-02 14:15:51 发布
最新推荐文章于 2024-02-02 14:15:51 发布
阅读量528 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink key group
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120957436
版权
大数据-flink 专栏收录该内容
840 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
博主九师兄分享关于Flink遇到的问题及解决方法。当Flink作业报错key group不在指定范围内时，可能原因是key selector引入了随机性，导致keyBy后的key group不固定。解决方案是在keyBy前固定随机数生成逻辑，确保keyBy操作的稳定性。
摘要由CSDN通过智能技术生成

文章目录

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
在这里插入图片描述

1.概述

此问题和一个问题很相似：【Flink】Flink KeyGroupRange {startKeyGroup=7,endKeyGroup=12} does not contain key group 45

使用如下代码运行时报错：

二次keyby的原因是为了解决数据倾斜问题,第一个keyby用来基于EventTime的翻滚窗口，第二个keyby使用了基于processTime的session窗口

DataStream stream = dataStream
          .keyBy<
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Flink KeyGroupRange {startKeyGroup=7,endKeyGroup=12} does not contain key group 45
九师兄
11-23 971
1.概述 我的key（维度字段）是动态的，存在map里面，我计算的时候直接把map清空了 我是一个对象传到汇聚里面的，也是对对象直接计算，然后我把维度字段置空了 就是在汇聚的过程中清理了对象的key值 报错如下 KeyGroupRange {startKeyGroup=7,endKeyGroup=12} does not contain key group 45 ...
【Flink纠错】IllegalArgumentException: key group from 44 to 45 does not contain 4
ChengYanan的博客
01-29 1580
二次keyby的原因是为了解决数据倾斜问题,第一个keyby用来基于EventTime的翻滚窗口，第二个keyby使用了基于processTime的session窗口 DataStream stream = dataStream .keyBy(keyBy(globalParallelism)) .window(window(downsampling)) .reduce(reduce(trackerType), processWindow(track
【flink】随机可以导致的异常 key group from 77 to 103 does not contain 60
qq_35642849的博客
03-06 250
【flink】随机可以导致的异常 key group from 77 to 103 does not contain 60
关于flink滚动窗口下数据乱序+倾斜，allowedLateness的一个坑
最新发布
m0_57219272的博客
02-02 1659
关于解决数据倾斜+数据乱序使用allowedLateness的坑
flink和其它模块交互
ritagreen123的博客
08-04 633
Flink从kafka消息队列读取数据 转载：https://blog.csdn.net/yanshien840826/article/details/111313896 1、首先要设置Flink的执行环境 // 创建Flink执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 2、设置Kafka相关参数，连接对应的服务器和端口号，读取名为Shakespeare的Topic中
flink源码-任务执行流程分析-1-CliFrontend进程分析.md
m0_37817767的博客
09-13 1108
Flink源码、任务执行流程分析、CliFrontend进程
Flink Oracle CDC Connector源码解读
IT_xhf的专栏
04-25 3776
flink cdc是在flink的基础上对oracle的数据进行实时采集，底层使用的是debezium框架来实现，debezium使用oracle自带的logminer技术来实现。logminer的采集需要对数据库和采集表添加补充日志，由于oracle18c不支持对数据添加补充日志，所以目前支持的oracle11、12、19三个版本。
Flink面试常见问题（实战）
u011250186的博客
03-24 660
一、如何排查生产环境中的反压问题？ 1、反压出现的场景 反压经常出现在促销、热门活动等场景。短时间内流量陡增造成数据的堆积或者消费速度变慢。 它们有一个共同的特点：数据的消费速度小于数据的生产速度。 2、反压监控方法 通过Flink Web UI发现反压问题 Flink 的 TaskManager 会每隔 50 ms 触发一次反压状态监测，共监测 100 次，并将计算结果反馈给 JobManager，最后由 JobManager 进行计算反压的比例，然后进行展示。 这个比例展示逻辑如下：...
FLINK数据倾斜的解决思路
cbb
10-09 2478
排查思路 1、查看该任务是否有反压现象 利用Flink WebUi查看任务是否有反压情况，结果正常，没有出现反压现象。 如果有反压，一般是红色节点往后的一个节点效率或者处理耗时很多，经常出现的是 开窗 分组，维表join，或者 sink 节点入库时间太久等情况。总之根据 web ui 找到对应节点， 可以增大并发，调整资源。 2、 查看是否有数据倾斜现象 当出现数据倾斜的时候，某一个窗口的数据太大导致无法处理或者处理很慢，所以造成kafka中数据堆积太多。 这种情况出现数据倾斜，是由于 按照字段 keyB
如何解决Flink任务的数据倾斜
zg_hover的专栏
05-20 2135
如何解决flink任务的数据倾斜问题
Flink keyby 数据倾斜问题处理
热门推荐
jast
04-05 1万+
上一篇我们使用keyby后发现数据严重倾斜 https://blog.csdn.net/zhangshenghang/article/details/105316728 大概看下问题所在，大量数据在一个subtask中运行 这里我们使用两阶段keyby解决该问题 之前的问题如下图所示 我们期望的是 但我们的需要根据key进行聚合统计，那么把相同的key放在不同的sub...
如何处理 Flink 中数据倾斜问题？
http://www.54tianzhisheng.cn/
09-22 1223
在大数据计算场景，无论使用 MapReduce、Spark 还是 Flink 计算框架，无论是批处理还是流处理都存在数据倾斜的问题，通过本节学习产生数据倾斜的原因及如何在生产环境解决数据倾斜。 数据倾斜简介 分析一个计算各 app PV 的案例，如下图所示，圆球表示 app1 的日志，方块表示 app2 的日志，Source 端从外部系统读取用户上报的各 app 行为日志，要计算各 app 的 P...
Flink 数据倾斜 解决方法
2301_78556605的博客
08-10 425
当 Subtasks 之间处理的数据量有较大的差距，则该 Subtask 出现数据倾斜。”：例如80%的财富集中在20%的人手中、80%的用户只使用20%的功能、20%的用户贡献了80%的访问量。数据倾斜的现象，如下图所示。过多的数据集中在某些 JVM（TaskManager），使得JVM 的内存资源短缺，导致频繁 GC。严重情况下，过长的 GC 导致 TaskManager 失联，系统崩溃。数据集中在某些分区上（Subtask），导致数据严重不平衡。，删除预聚合添加的前缀或者后缀，然后进行聚合统计。
深入Flink : 源码解读数据倾斜代码落地
qq_39521139的博客
11-07 75
这段代码的设计理念是确保每个并行度上面都分配一个唯一的key，确保均衡的key分配，从而实现均衡的数据分布。这篇文章把我们的优化方案给落地了，也让大家看到了优化的效果。但是其中有一些点我还是没有讲清楚，我后面时间彻底把这个知识点给理解透彻，然后单独给大家写一篇文章来说，希望大家见谅。大家想要上面代码，在本地测试的。还有就是上面我肯定有讲的不清晰的地方，欢迎大家一起来讨论，可以关注微信公众号：大圣数据星球 进群讨论。本文由博客一文多发平台。
Flink Stream 处理数据倾斜
bluedraam_pp的博客
04-16 437
Flink 数据倾斜
Flink -- window数据倾斜 解决思路
IT_Lee_J_H的博客
03-18 8792
这里阐述一下Flink中 window间的数据倾斜的解决思路，不做代码展现 场景： 分项目统计某个时间粒度的pv数据 数据情况： 每个项目的数据量不同，某个项目的数据量很大，导致这个项目的窗口中的数据很大，发生倾斜 解决思路： 思路一： 针对window原始方式中在窗口触发前，是以数据积攒的方式进行的。所以针对这种方式可以在window后跟一个reduc...
Flink数据倾斜以及解决之道
qq_41733481的博客
09-12 2426
什么是数据倾斜？ 数据倾斜问题是分布式架构的重要难题，它破坏了MPP架构中各个节点对等的要求，导致单节点（倾斜节点）所存储或者计算的数据量远大于其他节点，所以会造成以下危害： 存储上的倾斜会严重限制系统容量，在系统容量不饱和的情况下，由于单节点倾斜的限制，使得整个系统容量无法继续增长。 FLINK中，如何定位数据倾斜？ 1、进入flink-webUI界面 2、哪类算子易出现数据倾斜？ 3、为什么keyedProcess易出现数据倾斜？ 1)非KeyProcess的分区...
22、Flink 解决数据倾斜问题
猫猫爱吃小鱼粮
09-08 318
Flink 解决数据倾斜问题
flink cdc常见报错
08-17
常见的 Flink CDC（Change Data Capture）报错有以下几种： 1. "TableNotFoundException: Table 'xxx' was not found in the catalog."：表示指定的表在 Flink 的 catalog 中不存在。可能是表名拼写错误或者表在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值