flink报错：typeutils.CompositeType$InvalidFieldReferenceException Cannot reference field by field expre

最新推荐文章于 2024-03-08 21:32:38 发布
最新推荐文章于 2024-03-08 21:32:38 发布
阅读量1.5k 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/102801068
版权
大数据-flink 专栏收录该内容
854 篇文章 856 订阅 ¥99.90 ¥299.90
订阅专栏
在尝试使用Flink进行keyBy操作时，如果使用实体类作为key，可能会遇到InvalidFieldReferenceException。该错误表示无法通过字段表达式引用字段。解决方法可参考相关博客文章，例如CSDN上的一篇文章提供了详细的解决方案。
摘要由CSDN通过智能技术生成

1.视界

在这里插入图片描述

2.背景

实体类

@Data
public class Person implements Serializable {
   

    public String name;
    public int age;
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Flink yarn 下报错ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ
九师兄
08-29 1455
flink启动日志报错如下 flink 在yarn上的日志报错如下 最后结局原因如下参考建议确保 Flink 版本与 YARN 版本兼容。不同的 Flink 版本可能需要不同版本的 YARN。请确保你使用的 Flink 版本与你的 YARN 版本兼容。检查环境和类路径设置。确保在运行 Flink 任务之前，所有必需的依赖项包括 YARN 和 Hadoop 相关的类库都正确地配置在类路径中。检查 Flink 的 flink-yarn_*.jar 文件是否正确下载并部署。这个文件包含了 Flink 与 YARN
CompositeType$InvalidFieldReferenceException: Cannot reference field by field expression on ...
我的博客
03-23 698
日志： Exception in thread "main" org.apache.flink.api.common.typeutils.CompositeType$InvalidFieldReferenceException: Cannot reference field by field expression on GenericType<Window.Sugar>Field expressions are only supported on POJO types, tuples, and
Flink代码执行报错Cannot reference field by field expression on GenericType
月亮下的小美丽????
06-01 685
Flink 会分析那些不属于任何一类的数据类型，尝试将它们作为 POJO 类型进行处理。如果一个类型满足如下条件，Flink 就会将它们作为 POJO 数据类型：POJOs 类必须是一个公有类，Public 修饰且独立定义，不能是内部类；POJOs 类中必须包含一个 Public 修饰的无参构造器；POJOs 类中所有的字段必须是 Public 或者具有 Public 修饰的 getter 和 setter 方法；POJOs 类中的字段类型必须是 Flink 支持的。
Flink报错 Cannot reference field by field expression on GenericType
fancychuan的博客
07-28 1931
报错信息如下： Exception in thread "main" org.apache.flink.api.common.typeutils.CompositeType$InvalidFieldReferenceException: Cannot reference field by field expression on GenericType<cn.fancychuan.SensorReading>Field expressions are only supported on POJ
Cannot reference field by field expression on GenericType＜XXXX＞与maven工程设置log4j的info等级(level)以及pojo样例
微电子学与固体电子学-俞驰
10-02 1717
Exception in thread "main" org.apache.flink.api.common.typeutils.CompositeType$InvalidFieldReferenceException: Cannot reference field by field expression on GenericType<UserActionLogPOJO>Field expressions are only supported on POJO types, tuples, an.
Flink报错：org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold
小蚯蚓的博客
01-14 4807
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold 一、问题描述 flink执行任务报错 2022-01-11 15:10:49 org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.c
flink-问题及解决: java.lang.ClassNotFoundException: org.apache.flink.api.common.typeinfo.TypeInformation
啊哈程序
06-28 1563
此问题就是缺少依赖,可以看下pom 文件里flink-core 设置的provied ,打开即可 注释掉:provided <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>${flink.version}</version> <!--<s.
Flink-Java报错之org.apache.flink.api.common.functions.InvalidTypesException
最新发布
BugEveryday的博客
03-08 599
An easy workaround is to use an (anonymous) class instead that implements the 'org.apache.flink.api.common.functions.FlatMapFunction' interface. Otherwise the type has to be specified explicitly using type information.可以搜索这个报错，有很多文章提到了解决方法，并给出了示例代码。
flink错误本-错误记录
epitomizelu的专栏
04-21 1万+
1，flink集群启动失败。 原因：从node1分发到其他节点，在node1上建立了到flink的软连接，使用软连接来操作。分发到其他服务器后，并没有建立软连接。导致集群启动失败，甚至影响了虚拟机的运行，导致虚拟机假死。 ...
Flink单词统计例子本地调试的错误解决
weixin_41939278的博客
09-20 3282
1、遇到的问题： com.typesafe.config.ConfigException$UnresolvedSubstitution: reference.conf @ jar:file:/C:/Users/0262000099/.m2/repository/org/apache/flink/flink-runtime_2.11/1.4.0/flink-runtime_2.11-1.4.0.ja...
org.apache.flink.api.scala.typeutils.CaseClassTypeInfo
Java大数据
05-24 3427
本地运行Flink程序出现error如下 Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.scala.typeutils.CaseClassTypeInfo at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.Cl...
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 4万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
Flink学习6-常见问题
迷路剑客个人博客
10-24 6885
Flink学习5-常见问题 1 启动报错 ClassCastException: cannot assign instance 使用bin/flink run -m yarn-cluster ...方式提交flink作业时，报错如下： Caused by: java.lang.ClassCastException: cannot assign instance of org.apache.comm...
flink运行过程中常见错误总结
fct2001140269的博客
05-10 5467
错误1.flink常见错误 flink错误提示：missing parameter type Error:(24, 15) reference to StreamExecutionEnvironment is ambiguous; it is imported twice in the same scope by import org.apache.flink.streaming.api.scal...
flink遇到的坑
晴空的博客
01-26 1万+
flink运行一切顺利，在发送数据量快达到1G的时候，突然发生故障，无故重启，最终导致整个flink程序崩溃。 发现问题后，就开始测试，追踪到日志，如下： AsynchronousException{java.lang.Exception: Could not materialize checkpoint 1143 for operator logData -> Sink: host
Flink 系列：解决 java.lang.ClassNotFoundException: org.apache.flink.runtime.state.CheckpointListener
NIO4444
05-31 6397
问题 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/runtime/state/CheckpointListener at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:763) at java.securit...
Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF
王佩的CSDN博客
12-08 1万+
本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品，以及商品的价...
flink 报错：InvalidResourceRequestException
那又怎样？的博客
12-13 1440
1.运行命令：./yarn-session.sh -n 4 -tm 1024 -s 8   报错堆栈轨迹如下： 2018-12-13 15:41:23,092 ERROR org.apache.flink.yarn.YarnFlinkResourceManager                - FATAL ERROR IN YARN APPLICATION MASTER: Connecti...
【Flink】flink报错：This type GenericType pojo cannot be used as key
九师兄
10-29 3173
1.视界 2.背景 参考：https://blog.csdn.net/qq_21383435/article/details/102801068 序列化主要是在 95-268-280-源码-Flink通信层的序列化与反序列化 中使用。 3.解决 /** * 测试点：自研测试测试，统计所有人的年龄之和 * * 测试数据： * lcc@lcc ~$ nc -lk 9992 * lcc,1 * lcc,2 * * 测试结果
flink sql 报错：java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Long怎么解决
06-07
这个错误通常是因为在 Flink SQL 中将一个 String 类型的字段尝试转换为 Long 类型时出现了问题。这可能是因为数据中包含了非 Long 类型的字符串，或者是因为查询中使用了错误的数据类型转换函数。 要解决这个问题...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值