flink sql 连接kafka avro序列化异常 Malformed data. Length is negative: -25

最新推荐文章于 2024-08-22 19:51:17 发布
最新推荐文章于 2024-08-22 19:51:17 发布
阅读量1.8k 收藏
点赞数
文章标签： flink sql kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hammer_/article/details/125626851
版权
本文介绍了在使用Flink SQL连接Kafka并处理Avro格式数据时遇到的序列化异常问题。错误源于SQL中字段定义与Avro schema不匹配，包括字段数量和类型。解决办法是确保SQL DDL与Avro schema完全一致。
摘要由CSDN通过智能技术生成

反序列化 avro格式时候遇到如下问题，原因是flink sql 的数据源DDL的字段定义要和avro的schema定义一致，字段数量，字段类型都要一致。

Caused by: org.apache.avro.AvroRuntimeException: Malformed data. Length is negative: -25
	at org.apache.avro.io.BinaryDecoder.doReadBytes(BinaryDecoder.java:336) ~[flink-shaded-hadoop-2-uber-3.1.3-10.0-SNAPSHOT.jar:3.1.3-10.0-SNAPSHOT]
	at org.apache.avro.io.BinaryDecoder.readString(BinaryDecoder.java:263) ~[flink-shaded-hadoop-2-uber-3.1.3-10.0-SNAPSHOT.jar:3.1.3-10.0-SNAPSHOT]
	at org.apache.avro.io.ResolvingDecoder.readString(ResolvingDecoder.java:201) ~[flink-shaded-hadoop-2-uber-3.1.3-10.0-SNAPSHOT.jar:3.1.3-10.0-SNAPSHOT]
	at org.apache.avro.generic.GenericDatumReader.readString(GenericDatumReader.java:422) ~[flink-shaded-hadoop-2-uber-3.1.3-10.0-SNAPSHOT.jar:3.1.3-10.0-SNAPSHOT]
	at org.apache.avro.generic.GenericDatumReader.readString(GenericDatumReader.java:414) ~[flink-shaded-hadoop-2-uber-3.1.3-10.0-SNAPSHOT.jar:3.1.3-10.0-SNAPSHOT]
	at org.apache.avro
最低0.47元/天 解锁文章
黑狗偶高
关注
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
Avro讲解
Simmu
04-06 585
Avro和Protobuf相似，都可以通过编译生成java类，然后在编程中使用这个Java类进行序列化。首先需要编写.avsc的json文件如下{ "type" : "record", "namespace" : "Tutorialspoint", "name" : "Employee", "fields"
6.2、Flink数据写入到Kafka
向热爱自己一样，热爱这个世界。
09-13 2523
Flink数据写入到Kafka
flink消费kafka报错
最新发布
weixin_55787608的博客
08-22 1731
ERROR coordinator.SourceCoordinatorContext: Exception while handling result from async call in SourceCoordinator-Source: source. Triggering job failover. org.apache.flink.util.FlinkRuntimeException: Failed to list subscribed topic partitions due to
flink sql 连接kafka avro序列化异常 Failed to deserialize Avro record ArrayIndexOutOfBoundsException
朝小佐_的博客
07-05 2192
在使用flinksql 解析复杂avro格式时候，遇到ArrayIndexOutOfBoundsException报错。问题的原因是所有非空字段都需要显示 not null,注意是每个层级的字段。 正确写法
FlinkSql-cdc 实时ETL kafka 数据
eyeofeagle的博客
07-28 1854
文章目录1, flink source connector: debeziuma, mysql开启binlog, 创建mysql 表和cdc用户b, 使用 ksql 创建kafka连接器：debezium2, flink sink connector: hbase 1, flink source connector: debezium https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/forma
flink-connector-kafka-0.10-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-0.10_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-0.10_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-0.10_2.11-1.10.0-sources.jar； 赠送Maven...
flink-connector-kafka_2.11-1.7.1-API文档-中英对照版.zip
07-14
赠送jar包：flink-connector-kafka_2.11-1.7.1.jar； 赠送原API文档：flink-connector-kafka_2.11-1.7.1-javadoc.jar； 赠送源代码：flink-connector-kafka_2.11-1.7.1-sources.jar； 赠送Maven依赖信息文件：flink-...
flink-sql-connector-kafka_2.11-1.12.0.jar
03-30
flink-sql-connector-kafka_2.11-1.12.0
flink-connector-kafka-base-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-base_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-base_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-base_2.11-1.10.0-sources.jar； 赠送Maven...
Linux报错无法分配内存,hive job 提示Invalid sync和 无法分配内存 报错处理
weixin_31783001的博客
05-11 682
近期发现分析部门同事告知，hive处理原始数据的时候总是不能执行完成，报错如下，这个问题是avro的文件不完整：Diagnostic Messages for this Task:Error: java.io.IOException: java.io.IOException: org.apache.avro.AvroRuntimeException:java.io.IOException: Inv...
2.1、如何在FlinkSQL中读取&写入到Kafka
向热爱自己一样，热爱这个世界。
10-11 9806
使用 flinksql读取、写入kafka
使用Apache Avro
幸运小侯子
10-10 302
Avro[1]是最近加入到Apache的Hadoop家族的项目之一。为支持数据密集型应用，它定义了一种数据格式并在多种编程语言中支持这种格式。 Avro提供的功能类似于其他编组系统，如Thrift、Protocol Buffers等。而Avro的主要不同之处在于[2]: “动态类型:Avro无需生成代码。数据总是伴以模式定义，这样就可以在不生成代码、静态数据类型的情况下对数据进行...
关于java.nio.charset.MalformedInputException: Input length = 1和Input length = 2的异常解决
热门推荐
酷酷的馫博客
05-06 8万+
java.nio.charset.MalformedInputException: Input length = 1 是因为你的配置文件里面有中文或者是你的编码格式不正确导致 解决方案:改变你的编码格式改为UTF-8，如果还不行，那就是你的配置文件里面有汉字，注释也算，你可以把你所有配置文件看一下，把汉字去掉就ok了。是你项目启动时加载的配置文件。 .........
FlinkCDC解读
GavinKai
05-27 2829
FlinkCDC 因为一直没有一个详尽的解读我就自己做一篇 ·https://github.com/apache/flink· 官网 ·https://github.com/ververica/flink-cdc-connectors· 官方论坛 ·Flink SQL CDC 实践以及一致性分析·2021-03-10·https://mp.weixin.qq.com/s/tE70jJO6pZTe6oB0fKcZkQ· ·Flink 如何实时分析 Iceberg 数据湖的 CDC 数据·2021
Flink常见报错整理
徐腾瑞的博客
11-11 450
Checkpoint：Checkpoint expired before completing env.getCheckpointConfig.setCheckpointTimeout() 时间加大,默认10min
org.apache.avro.AvroRuntimeException: Excessively large list allocation request detected: 1818848868
跨境电商
03-20 1831
测试配置引用的官网上的案例 flume接收nc消息异常 这个异常，是配置错误导致的。遇到有两种情况会有该异常，一种是组件之间关系写错，如名为s1的sink用的是c1的channel，但被错误的写成不存在的c2，就会有该错。第二种是source接收的是字符串类型的数据，而配置成接收序列化后的数据avro，则会报这种异常，因此只需将source type改成 netcat即可 修改avro为netcat ...
记flume部署过程中遇到的问题以及解决方法（持续更新）
小麒麟的成长之路
08-21 4万+
项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下：现将调试过程中遇到的问题以及解决方法记录如下：1、 [ERROR - org.apache.thrift.server.Abstr...
Java解压文件的一些坑及经验分享(MALFORMED异常)
Zero的博客
05-11 1万+
一、错误如下： java.lang.IllegalArgumentException: MALFORMED at java.util.zip.ZipCoder.toString(ZipCoder.java:58) at java.util.zip.ZipInputStream.readLOC(ZipInputStream.java:300) at java.util.zip.ZipInputStream.getNextEntry(ZipInputStream.java:122) at com.hua
flink sql 连接kafka
03-29
<artifactId>flink-connector-kafka_{scala.binary.version} ${flink.version} ``` 2. 在 Flink SQL 中，需要使用 CREATE TABLE 语句来创建与 Kafka 主题的连接。以下是一个示例 CREATE TABLE 语句： ``` ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值