【Flink】Class class org.apache.flink.types.Row cannot be used as a POJO type because not all fields a

已于 2023-06-19 16:26:35 修改
阅读量4.1k 收藏 1
点赞数
分类专栏： 大数据-flink 文章标签： flink row POJO
于 2020-07-03 08:43:36 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105874576
版权
大数据-flink 专栏收录该内容
838 篇文章 846 订阅 ¥99.90 ¥299.90
订阅专栏
博客讨论了在使用Flink时遇到的关于Row类不能作为POJO类型的问题。原因是Row类不符合Flink中POJO类型的规则，即需要有无参构造函数和对应的getter/setter方法。尽管警告只在初始化时出现一次，但解决这个问题的方法包括确保类遵循POJO规则或者使用Avro生成的类。文章提供了检查类是否为POJO的代码，并推荐了参考资料来解决Flink配置中关于Generic types和KryoSerializer Row的设置。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】flink报错：This type GenericType pojo cannot be used as key
九师兄
10-29 3143
1.视界 2.背景 参考：https://blog.csdn.net/qq_21383435/article/details/102801068 序列化主要是在 95-268-280-源码-Flink通信层的序列化与反序列化 中使用。 3.解决 /** * 测试点：自研测试测试，统计所有人的年龄之和 * * 测试数据： * lcc@lcc ~$ nc -lk 9992 * lcc,1 * lcc,2 * * 测试结果
flink1.10: this type (GenericType「pojo) cannot be used as key.异常处理
cjj386906718的博客
07-03 2195
flink1.10 异常 this type (GenericType<pojo) cannot be used as key. 实现功能： 统计单词个数 代码如下： public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setP
写给大忙人的Flink的Data Types
shengjk1的博客
03-16 1323
一.Flink 中 Data Type 组成 基本数据类型：java 的 8 中基本数据类型加上它们各自的包装类型，在加上 void , String, Date,BigDecimal, BigInteger. 基本数据类型的数据和 Object 类型的数组 复合类型 Flink Java Tuples scala case classes Row POJOs: 如果要被 Flink...
Flink: flink.types.Row cannot be used as a POJO type because not all fields are valid POJO fields,
amadeus_liu2的博客
05-06 1567
实体类没加setter&getter
TimestampedFileInputSplit cannot be used as a POJO type because not all fields are valid POJO fields
qq_44874902的博客
01-03 2878
TimestampedFileInputSplit cannot be used as a POJO type because not all fields are valid POJO fields, and must be processed as GenericType. 项目场景：flink-1.12.0版本 提示：这里简述项目相关背景：转换算子测试 问题描述： 错误提示：TimestampedFileInputSplit cannot be used as a POJO type because
flink中的row类型详解
最新发布
weixin_51981189的博客
01-10 1858
在Apache Flink中，`Row` 是一个通用的数据结构，用于表示一行数据。`Row` 可以看作是一个类似于元组的结构，其中包含按顺序排列的字段。在这个例子中，我们首先定义了一个 `RowTypeInfo`，描述了 `Row` 中两个字段的数据类型。然后，我们创建一个 `Row` 对象，设置了两个字段的值，并最后访问了这些字段的值。`Row` 的字段可以是各种基本数据类型，例如整数、字符串、布尔值等，也可以是复杂的结构，例如嵌套的 Row 或数组。
Flink 内核原理与实现-类型与序列化
857技术社区
08-28 653
一、DataStream类型系统 1.1 物理类型 1.2 逻辑类型 1.3 类型推断 1、类型提取的时机 #DataStream.java 在使用DataStream#map接口的时候，就会触发类型的提取。 2、自动类型推断 Flink首先会自动进行类型推断，但是对于一些带有泛型的类型，Java泛型的类型擦除机制会导致Flink在处理Lambda表达式的类型推断时不能保证一定能提取到类型。 Java泛型(Generic) 的引入加强了参数类...
Apache-Flink
@xiao黑的博客
03-17 490
Apache-Flink 概述 Flink是构建在数据流之上地有状态计算地流计算框架 通常被人们理解为是第三代大数据分析方案 第一代-Hadoop的MapReduce(计算) Storm流计算(2014.9) 两套独立计算引擎 使用难度大 第二代-Spark RDD静态批处理(2014.2) DStream|Structured Streaming流计算 统一计算引擎 难度系数小 第三代-Fli...
FlinkX的数据类型
wuhulala的休息室
05-24 1091
FlinkX的数据类型 从上一章节里面看到： DataStream<Row> dataStream = dataReader.readData(); 这个简单的代码里面我们可以得出 每一行数据都转化为了Row对象 数据转化为了数据流 我们下面看一下Row是如何满足所有的数据类型的？ FlinkX 中的 Row 这里的Row是指的org.apache.flink.types.Row A Row can have arbitrary number of fields and contain
Type EnumTypeInfo＜xxxxx＞ cannot be used as key. Contained UNSUPPORTED key types: EnumTypeInfo＜xxxxx＞
微电子学与固体电子学-俞驰
12-12 770
事情起因 https://github.com/chaoxxx/learn-flink-stream-api/blob/master/src/main/java/fun/cosmozhu/session16/main/StreamTest.java 这个repository被我clone下来后运行很顺利. 想复制到自己的另外一个工程里面,结果报错了 报错内容 22:45:50,226 INFO org.apache.flink.api.java.typeutils.TypeExtractor ..
lombok升级造成反序列化异常(missing default constructor or creator)
永远相信美好的事情即将发生
06-21 2076
背景 最近做项目时发现我们的项目中依赖的 lombok 版本有点旧，于是顺手给做了个版本升级。一开始没有什么问题，但是在上线后老代码中却报了一个错误。是 Jackson 在尝试反序列化一个 JavaBean 的时候报了反序列化异常，百般思索没有找到问题的原因，不得已又将版本回退回去。现在将整个流程做个回顾。 首先我们的老版本的 lombok 为 1.16.6 ，这个版本是 2015年8月19日发布的，可以看到是一个已经很老的版本，日常使用是没什么问题的。为了支持一些新的 lombok 特性，我将它升级为了
使用flink通过窗口实现数据源（mq）数据过滤，解决cannot be cast to org.apache.flink.table.dataformat.BinaryGeneric
qq_30752927的博客
05-11 1560
使用flink通过窗口实现数据源（mq）数据过滤。 需求：一个老师有基本属性包括（编号，名字，年龄，学生集合，以及图片信息）需要通过flink窗口实现多字段过滤以及取最大年龄的数据 定义student类 public class Student { private String name; public String getName() { return name; } public void setName(String name) {
Mybatis报错——java.util.HashMap cannot be cast to com.bean.Employee
热门推荐
kingscoming的博客
12-24 3万+
Mybatis报错——java.lang.ClassCastException: java.util.HashMap cannot be cast to com.bean.Employee报错如下： java.lang.ClassCastException: java.util.HashMap cannot be cast to com.bean.Employee
异常：java.util.LinkedHashMap cannot be cast to xxx 的处理办法
SummerYeSky的博客
11-10 2万+
最近写一个小查询，然后出了个很奇怪的bug，一直说LinkedHashMap无法被转换为要查询的实体对象，关键是我这里无论是前端还是后端都没有用到LinkedHashMap的类型，然后查了半天百度，说是传入的查询条件应该解析一下。 解决方法: 　　首先 导入 net.sf.json 类 <dependency> <gr...
【Flink实战系列】Flink 各种报错汇总以及解决方案(持续更新中)
JasonLee实时计算
02-06 4516
这篇文章主要用来记录平时使用 Flink 过程中遇到的问题以及解决方案,其实前面已经有一篇这样的文章了,但是那篇文章里面的问题已经很多了,不太方便浏览,所以新开了一篇文章,后面的问题都会更新到这篇文章中. ...
Flink 使用TableFunction getResultType返回Row类型
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-13 2390
Flink1.9.3 package SQL_split_index; import org.apache.flink.api.common.typeinfo.TypeInformation; import org.apache.flink.api.common.typeinfo.Types; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.
Flink 操作 demo
templarzq的专栏
01-11 3184
package com.woople.streaming.scala.examples.kafka import java.util.Properties import com.woople.flink.streaming.connectors.kafka.{CsvRowDeserializationSchema, KafkaCsvTableSource} import org.apache.fl
Apache Flink 漫谈系列(13) - Table API 概述
测试0901-1
01-08 743
什么是Table API 在《Apache Flink 漫谈系列(08) - SQL概览》中我们概要的向大家介绍了什么是好SQL，SQL和Table API是Apache Flink中的同一层次的API抽象，如下图所示： Apache Flink 针对不同的用户场景提供了三层用户API,最下层ProcessFunction API可以对State，Tim...
flink读取不到文件_Flink开发遇到的问题汇总-
weixin_33344629的博客
01-17 3374
1，提交的离线任务完成之后，在一段时间后web端没有显示或者说自动消失： 原因分析：https://blog.csdn.net/u013076044/article/details/104740792是需要开启historyserver2，Flink读取hdfs的(hive分区)文件，目前已知有三种方式：通过循环union方式，本地可以执行，集群提交报错 通过官方API，可是只支持csv文件格式,...
timestampedfileinputsplit cannot be used as a pojo type because not all fiel
12-28
TimestampedFileInputSplit不能作为POJO类型使用，因为它不是所有字段都可以被序列化和映射到POJO对象中。TimestampedFileInputSplit是Flink流处理框架中的一个用于表示文件输入的类，它包含了文件的路径、起始偏移量、文件长度和时间戳等字段信息。但是，由于这些字段并不都符合POJO对象的特性，比如它的时间戳字段并不一定能够在POJO中很好地映射。因此，如果要在Flink中使用这个类，可能需要通过其他方式来处理它，例如使用Flink的RichFunction接口来对其进行处理，而不能直接将其作为POJO类型来使用。 另外，TimestampedFileInputSplit类中可能还包含一些与POJO对象不兼容的字段，比如文件的路径和文件长度等信息。这些字段在POJO类中并没有很好的映射方式，因此也不能直接将TimestampedFileInputSplit作为POJO类型来使用。如果确实需要在Flink中使用这个类的对象，可能需要通过自定义的方式来处理它，例如使用Flink的Tuple或Value接口来进行封装和处理。 总之，TimestampedFileInputSplit不能作为POJO类型使用是因为它的字段并不都能够很好地映射到POJO对象中，需要通过其他方式来处理它。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值