【Flink】No key set. This method should not be called outside of a keyed context

最新推荐文章于 2024-11-13 22:59:36 发布
最新推荐文章于 2024-11-13 22:59:36 发布
阅读量1.7k 收藏
点赞数 3
分类专栏： 大数据-flink 文章标签： flink 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/124190110
版权
大数据-flink 专栏收录该内容
854 篇文章 860 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了在Flink中遇到的`No key set. This method should not be called outside of a keyed context`错误，分析了问题可能的原因，包括未正确设置keyBy操作以及在无checkpoint情况下初始化ValueState为null导致的问题，并提供了通过注释代码解决问题的方案。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

有没有遇到过No key set. This method should not be called outside of a keyed context.

在这里插入图片描述
你使用了keyed的状态，但前面没有做keyby吗？

做了key by呀

在这里插入图片描述
看自定的的map设置如下

在这里插入图片描述
你设了过期的啊。。。感觉是触发了清理后你又调用了

之前有checkpoint是好的，今天把checkpoint去掉后就报错了

在这里插入图片描述
解决了。。。把这两行注释掉就可以了

[流汗][流汗]那就是你初始话的valuestate.value是个null来着、、

在open中我对valueState进行了打印日志的操作，如果不用checkpoint的话会报空指针，我去掉了valueState的日志打印就好了

九师兄
关注
专栏目录
订阅专栏
【Flink】No key set. This method should not be called outside of a keyed context.
九师兄
07-03 2619
2.背景 @Test public void flatMap() throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setStreamTimeCharacteristic(TimeC...
【FLink】Assigned key must not be null
九师兄
08-06 654
1.概述 我的flink任务报错Assigned key must not be null，但是我把keyby用到的字段已经提前做了非空过滤，还是偶尔会报这个错。 还没法复现这个问题。 对应的源码位于 public static int assignToKeyGroup(Object key, int maxParallelism) { Preconditions.checkNotNull(key, "Assigned key must not be null!"); /
广播状态实现注意事项
lixia0417mul2的博客
10-08 154
flink广播状态
【Flink】【第9章】【 状态管理和容错机制】【01】状态编程
weixin_43589563的博客
01-21 2481
1.状态编程介绍 1.1 有状态计算和无状态计算 流式计算分为无状态和有状态两种情况： （1）无状态的计算基于每个独立事件给出每个事件的结果 例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告。 （2）有状态的计算则会基于多个事件输出结果 1.所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。 2.所有用于复杂事件处理的状态机。例如，若在一分钟内收到两个相差20度以上的温度读数，则发出警告，这是有状态的计算。 3.流与流之间的所有关联操作、流与静态表、动态表之间的关联
Flink Keyed State 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 4336
1 sourceStream必须要先keyBy然后才能使用Keyed State 2 需要继承RichxxxxFunction才行，在open之前声明，在open中初始化，在算子方法中使用和处理。不能继承xxxxxFunction，因为没有open方法，无法初始化，会报错。 3 open方法中只能初始化Keyed State，无法使用Keyed State（比如：获取值等操作），不然报错。因为open方法不属于Keyed上下文，算子方法才属于Keyed上下文 并行度是1： package Stat
flink问题记录
三石
07-30 1万+
在flink上跑一个算法的离线指标，报错如下。 Map (Map at com.wwdz.recsys.home.ItemFilterDay$.main(ItemFilterDay.scala:186)) -> Combine (GroupReduce at org.apache.flink.api.scala.GroupedDataSet.first(GroupedDataSet.scala:480)) (5/8) (96228117fa07e01079d3cba5f0dc742b) switche
【Flink】Class class org.apache.flink.types.Row cannot be used as a POJO type because not all fields a
九师兄
07-03 4202
这个意思是实体类，你定义的不是一个Flink可序列化的类，因为里面不符合Pojo的规则。此外，使用Avro生成的类可以被Flink识别为POJO。数据json作为数据传递也会有这样的日志。运行Flink看着报错一个warn。结果显示这个类在是否在使用。
【Android】AS报错解决方法：Non-static method '*' cannot be referenced from a static context
热门推荐
苍狼的博客
05-01 7万+
【错误】Non-static method '*' cannot be referenced from a static context【翻译】在静态上下文中不能引用非静态方法'*'【造成原因】直接调用了其他包内的非静态方法。【举例】包 com.test.package1 中有类 TestMethod，该类中有非静态方法 test()。package com.test.Package1; pub...
05_Flink Streaming KeyedStream
codemosi的专栏，点击我可以跳到目录一栏
06-06 5729
KeyedStream继承了DataStream，是由datastream的keyBy()，产生的。表示按key的value分区过的流。在datastream的功能基础上，由添加了一些max,min等聚合的功能。 //1：聚合函数 1：aggregate，通过AggregationFunction实现类，实现各种数据聚合的功能 2：sum，数据累加 3：max，取最大数 4：mi
新版sonar代码审查问题总结
邢超的博客
10-14 4万+
主要问题列表： 格式：问题名字+问题出现的次数 Resources should be closed2 资源未关闭，打开发现有两处用到的IO流没有关闭 Conditions should not unconditionally evaluate to "TRUE" or to "FALSE"1 if/else判断里出现了重复判断，比如在if(a>10)的执行体里面又判断i
Java8 Stream()引发的“non-static method cannot be referenced from a static context”
smy2536327507的专栏
05-18 3万+
问题描述： 使用Java8 Stream对数组进行排序 list.stream().sorted(Comparator.comparing(SeriesData::getName)); 其中sorted()函数需要传入一个Comparator，而我们使用了Comparator中的静态方法comparing()构建了一个Comparator。在构建Comparator的时候compa...
【Flink】No tests found matching Method xx from org.junit.internal.requests.ClassRequest
九师兄
07-01 1423
1.背景 写了一个flink scala的测试类，运行却报错 No tests found matching Method xx from org.junit.internal.requests.ClassRequest 对应的的代码如下 package org.apache.flink.streaming.examples.window.tumbling import org.apach...
Flink之状态管理与容错机制
alex大喵的博客
06-28 938
1 状态管理的基本概念 1.1 什么是状态 1.1.1 无状态的例子：消费延迟计算 消息队列： 一个生产者持续写入，多个消费组分别读取，如何实时统计每个消费者落后多少条数据？ //输入 { "timestamp": 1555516800, "offset": { "producer": 16, "consumer0": 10, "consumer1": 7, "c...
解决TP5.1 报错：Non-static method think\Cookie::get() should not be called statically...
涛々的技术博客
02-28 3万+
在Controller类中获取Cookie时完整的报错： Non-static method think\Cookie::get() should not be called statically, assuming $this from incompatible context 百度翻译过来的意思：假设$this来自不兼容的上下文，则不应静态调用非静态方法think\cookie:：g...
一文搞懂 flink state key 的设置方式
shengjk1的博客
05-28 747
1. 疑问 2. 解释 1. 疑问 前一篇文章 一文搞懂 Flink window 元素的顺序问题 我们已经知道了，state 的获取、更新、清除等都与 key 相关。那么 key 是如何设置的呢？ 2.解释 这需要从 StreamTask 的 run 方法说起。以 OneInputStreamTask 为例，当程序启动开始消费消息时，会进行 OneInputStreamTask 的 run 方法， @Override protected void run() throws Exceptio..
【Flink】-- flink新版本发布：v2.0-preview1
欢迎来到我的博客，一起探索代码里的世界！
11-13 82
Apache Flink 社区已于2024-10-23发布了 Flink 2.0版本，这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进，包括存算分离状态管理、物化表、批作业自适应执行等，同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈。Flink 2.0 preview 版，而不是 stable 版本，所以请不要应用于生产环境。
flink StreamGraph 构造flink任务
csdn问鼎
11-13 129
手工生成flink 作业有向无环图
Flink_DataStreamAPI_输出算子Sink
最新发布
qq_45972323的博客
11-13 587
如果我们想将数据存储到我们自己的存储设备中，而Flink并没有提供可以直接使用的连接器，就只能自定义Sink进行输出了。与Source类似，Flink为我们提供了通用的SinkFunction接口和对应的RichSinkDunction抽象类，只要实现它，通过简单地调用DataStream的.addSink()方法就可以自定义写入任何外部存储。在实现SinkFunction的时候，需要重写的一个关键方法invoke()，在这个方法中我们就可以实现将流里的数据发送出去的逻辑。
Flink+Kafka中Source和Sink的使用
ABU009的博客
11-10 684
#Flink的Source和Sink的使用#Kafka中Source和Sink的使用
Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded
07-13
This error message indicates that Flink is unable to find a file system implementation for the 'hdfs' scheme. Flink does not natively support Hadoop Distributed File System (HDFS), so you need to configure it to work with HDFS. To resolve this issue, you can follow these steps: 1. Make sure you have the Hadoop libraries installed on your Flink cluster. 2. Update the Flink configuration file (`flink-conf.yaml`) and add the following properties: ``` fs.hdfs.hadoopconf: /path/to/hadoop/conf fs.hdfs.hadoop.user: hdfs ``` Replace `/path/to/hadoop/conf` with the actual path to your Hadoop configuration directory. Replace `hdfs` with the Hadoop user you want to use (e.g., `hadoop`). 3. Restart your Flink cluster for the changes to take effect. By configuring Flink with the appropriate Hadoop libraries and settings, it should be able to load the Hadoop file system implementation for the 'hdfs' scheme and work with HDFS.
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值