阿里云 flink sql 异常 java.lang.NoSuchMethodError: org.apache.avro.Schema.isNullable()Z

最新推荐文章于 2022-11-13 23:27:56 发布

黑狗偶高

最新推荐文章于 2022-11-13 23:27:56 发布

阅读量632

点赞数

文章标签： java apache flink

本文链接：https://blog.csdn.net/hammer_/article/details/125226131

版权

在使用阿里云Flink SQL与Kafka Connectors进行Avro序列化时遇到`java.lang.NoSuchMethodError`异常。解决方法是将引擎版本从vvr-4.0.13-flink-1.13降级到vvr-4.0.8-flink-1.13，以此解决Avro Schema的不兼容问题。

摘要由CSDN通过智能技术生成

使用kafka Connectors 时候，序列化方式选择avro时候报
java.lang.NoSuchMethodError: org.apache.avro.Schema.isNullable()Z

CREATE TEMPORARY TABLE sink_benchmark (
	      f_random_int int,
          f_random_str STRING
		) WITH (
		  'connector' = 'kafka',
		  'topic' = 'topic_test',

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

黑狗偶高

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【Flink】 java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/ByteArrayDeserializer

一杯咖啡半杯糖的博客

12-13

2551

自研flinsql提交平台，在服务器上新安装了一个flink客户端，准备提交flinksql到yarn，执行测试的时候报错 /data/flink/flink-1.13.3/bin/flink run -p 1 -ynm flink@547116966402719744 -yd -m yarn-cluster -yqu root.default -c com.huize.beidou.realtime.streaming.core.JobApplication /home/it/beidou_

java.lang.NoSuchMethodError: org.apache.avro.Schema.isNullable()Z

sun%moon

03-23

2032

问题描述 Flink依赖flink-avro安装包 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-avro</artifactId> <version>1.12.0</version> <scope>provided</scope> </dependency&g

参与评论您还未登录，请先登录后发表或查看评论

org.apache.avro.SchemaParseException

QYHuiiQ

03-20

2043

在使用kafka的avro定义schema的时候，出现了这个异常：原来代码是这么写的： String schemaStr = "{\"type\":\"record\",\"name\";\"Student\",\"fields\":[{\"name\":\"id\","type\":\"int\"},{\"name\":\"name\",\"type":"String\"},{\"na...

关于FlinkCDC运行报错 : Caused by: java.lang.NoSuchMethodError:

JinKla的博客

03-17

5545

Caused by: java.lang.NoSuchMethodError: com.mysql.cj.CharsetMapping.getJavaEncodingForMysqlCharset(Ljava/lang/String;)Ljava/lang/String; 解决：flinkcdc本身依赖与mysql连接依赖发生了冲突，注释掉mysql连接依赖即可。  <!-- <groupId>mysql&l

flink sql 连接kafka avro序列化异常 Malformed data. Length is negative: -25

朝小佐_的博客

07-06

1794

反序列化 avro格式时候遇到如下问题，原因是flink sql 的数据源DDL的字段定义要和avro的schema定义一致，字段数量，字段类型都要一致。错误的sql 正确的写法

编写Flink入门代码报出java.lang.NoSuchMethodError,解决建议。

weixin_45928961的博客

12-01

7689

这是我的pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio...

flink1.12 提交Job 时 Exception in thread “main“ java.lang.NoSuchMethodError: org.apache.commons.cli.Opt

17611119847

10-14

3万+

flink1.12 提交Job 时 Exception in thread “main” java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder; 完整报错信息： Exception in thread “main” java.lang.NoSuchMethodError: org.apache.commons.c

avrorecord.java,失败，但发生异常java.io.IOException：org.apache.avro.AvroTypeException：发现的很长，期望在配置单元中实现联合...

weixin_39746229的博客

03-18

303

需要帮忙！！！我正在使用flume将Twitter提要流式传输到hdfs中，并将其加载hive进行分析。步骤如下：我已经avro schema在avsc文件中描述了并将其放入hadoop：{"type":"record","name":"Doc","doc":"adoc","fields":[{"name":"id","type":"string"},{"name":"user_friends_c...

flume常见报错记录

SW_LCC的博客

06-18

2057

1.java.nio.channels.ClosedChannelException Unexpected exception from downstream 一般来说，这种错误是source往channel写入数据时错误才有的异常，因此只需根据实际情况去处理就行。但有另一种错误，我们配置zabbix监控flume端口时，会每隔固定时间往source端口建立一个tcp连接但并没有发送具体数据。查看...

flink sql 连接kafka avro序列化异常 Failed to deserialize Avro record ArrayIndexOutOfBoundsException

朝小佐_的博客

07-05

2179

在使用flinksql 解析复杂avro格式时候，遇到ArrayIndexOutOfBoundsException报错。问题的原因是所有非空字段都需要显示 not null,注意是每个层级的字段。正确写法

有没有flink开发经验，用flink CDC connector读取mysql，再kafka消息推送到hive表中

weixin_41239249的博客

04-16

458

有没有flink开发经验，用flink CDC connector读取mysql，再kafka消息推送到hive表中 --------------------------------------------------------------------------------------------------------------- 求指教

Flink 1.12同步kafka写clickhouse

huangrunxing的专栏

07-30

296

** POM文件 ** <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache

MongoDB实时同步方案

qq_42575907的博客

11-13

4037

MongoShake是一个以golang语言进行编写的通用的平台型服务，通过读取MongoDB集群的Oplog操作日志，对MongoDB的数据进行复制，后续通过操作日志实现特定需求。日志可以提供很多场景化的应用，为此，我们在设计时就考虑了把MongoShake做成通用的平台型服务。通过操作日志，我们提供日志数据订阅消费PUB/SUB功能，可通过SDK、Kafka、MetaQ等方式灵活对接以适应不同场景(如日志订阅、数据中心同步、Cache异步淘汰等)。

出现 java.lang.NoSuchMethodError 错误的原因及解决方法

贵公子丶笔记

05-21

3万+

1 原因在项目依赖比较复杂或者 Java 运行的环境有问题时，或者同一类型的 jar 包有不同版本存在，都可能触发该错误。本质上说是 JVM 找不到某个类的特定方法，也就是说 JVM 加载了错误版本的类。说白了，就是 JVM 找不到真正想要调用的方法啦！出现该错误的情形主要有以下两个种：导入了不匹配的包版本；开发环境和运行环境不一致。 2 解决方法查看“External Libraries”，看报错的方法到底存不存在，如果不存在，说明这个包一定有问题啦，更新包就可以啦；如果存在，说明包已...

java.lang.NoSuchMethodError错误解决