Flink调用dubbo接口写入kafka时遇到的一些问题解决

最新推荐文章于 2024-03-16 06:00:00 发布
最新推荐文章于 2024-03-16 06:00:00 发布
阅读量551 收藏
点赞数
文章标签： flink kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangxingxingalulu/article/details/119002927
版权

Flink调用dubbo接口写入kafka时遇到的一些问题解决

  1. org.apache.kafka.common.KafkaException: Failed to construct kafka producer
	at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:416)
	at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:288)
	at org.apache.flink.streaming.connectors.kafka.internal.FlinkKafkaProducer.<init>(FlinkKafkaProducer.java:123)
	at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011.initProducer(FlinkKafkaProducer011.java:983)
	at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011.initNonTransactionalProducer(FlinkKafkaProducer011.java:979)
	at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011.beginTransaction(FlinkKafkaProducer011.java:717)
	at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011.beginTransaction(FlinkKafkaProducer011.java:97)
	at org.apache.flink.streaming.api.functions.sink.TwoPhaseCommitSinkFunction.beginTransactionInternal(TwoPhaseCommitSinkFunction.java:398)
	at org.apache.flink.streaming.api.functions.sink.TwoPhaseCommitSinkFunction.initializeState(TwoPhaseCommitSinkFunction.java:389)
	at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011.initializeState(FlinkKafkaProducer011.java:868)
	at org.apache.flink.streaming.util.functions.StreamingFunctionUtils.tryRestoreFunction(StreamingFunctionUtils.java:185)
	at org.apache.flink.streaming.util.functions.StreamingFunctionUtils.restoreFunctionState(StreamingFunctionUtils.java:167)
	at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.initializeState(AbstractUdfStreamOperator.java:96)
	at org.apache.flink.streaming.api.operators.StreamOperatorStateHandler.initializeOperatorState(StreamOperatorStateHandler.java:106)
	at org.apache.flink.streaming.api.operators.AbstractStreamOperator.initializeState(AbstractStreamOperator.java:258)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain.initializeStateAndOpenOperators(OperatorChain.java:290)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.lambda$beforeInvoke$0(StreamTask.java:479)
	at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$SynchronizedStreamTaskActionExecutor.runThrowing(StreamTaskActionExecutor.java:92)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.beforeInvoke(StreamTask.java:475)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:528)
	at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:721)
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:546)
	at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.kafka.common.KafkaException: org.apache.flink.kafka011.shaded.org.apache.kafka.common.serialization.ByteArraySerializer is not an instance of org.apache.kafka.common.serialization.Serializer
	at org.apache.kafka.common.config.AbstractConfig.getConfiguredInstance(AbstractConfig.java:248)
	at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:327)
	... 22 more

    上述问题是kafka版本冲突的问题，通常在本地调试的时候不会出现问题，但是线上一般都会有相应的依赖，所以在maven依赖中需要加如下限定

<scope>provided</scope>

2

org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function.
	at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfig.java:275)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain.createChainedOperator(OperatorChain.java:471)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain.createOutputCollector(OperatorChain.java:393)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain.createChainedOperator(OperatorChain.java:459)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain.createOutputCollector(OperatorChain.java:393)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain.createChainedOperator(OperatorChain.java:459)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain.createOutputCollector(OperatorChain.java:393)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain.<init>(OperatorChain.java:155)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.beforeInvoke(StreamTask.java:459)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:528)
	at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:721)
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:546)
	at java.lang.Thread.run(Thread.java:745)
Caused by: java.io.InvalidClassException: org.apache.flink.streaming.connectors.kafka.internals.KafkaSerializationSchemaWrapper; local class incompatible: stream classdesc serialVersionUID = -45234324918511287, local class serialVersionUID = -2852600975509513916
	at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:616)
	at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1623)
	at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1518)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1774)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1351)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2000)
	at java.io.ObjectInputStream.defaultReadObject(ObjectInputStream.java:501)
	at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer.readObject(FlinkKafkaProducer.java:1288)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:497)
	at java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:1058)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1900)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1801)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1351)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2000)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1924)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1801)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1351)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2000)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1924)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1801)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1351)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:371)
	at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:576)
	at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:562)
	at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:550)
	at org.apache.flink.util.InstantiationUtil.readObjectFromConfig(InstantiationUtil.java:511)
	at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfig.java:260)
	... 12 more

这个问题属于序列化的问题，解决方式就是在实体类中添加对应的序列化版本号

一直奔跑的马
关注
记一次Flink写入Kafka坑点
微信搜：import_bigdata，大数据领域硬核原创作者
08-29 786
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 最近做了一个将结果数据写入到Kafka的需求，sink部分代码如下： val kafkaProducer: FlinkKafkaProducer011[String] = new FlinkKafkaProducer011[String]( sinkTopic, new Strin
Flink 任务远程调用Dubbo接口
sunlen的专栏(编程技术探讨)
03-24 1472
在大数据中，Flink任务一般都不是基于Spring框架和Dubbo框架的，但很多业务系统采用Dubbo架构，当需要调用业务系统的接口获取数据时，就出现Flink调用Dubbo的情况了。 由于Flink架构的特殊性，按照普通的Java项目引入Dubbo架构是不行的，在本地调测可能没有问题，但一定部署到生产环境，一般都会报错。 这是因为Flink架构是分布式的，正常情况下，包含一个Client端，一个jobManager和多个TaskManager，每个TaskManager还包含...
Flink 如何远程调用dubbo接口
一直奔跑的马
07-08 1096
Flink 如何远程调用dubbo接口 在flink开发过程中，有时候需要远程调用dubbo接口，其实现方式如下： /** 依赖 <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId> <version>2.5.3</version>
2018年云栖大会 开发者 Flink RocketMQ HBase Streaming Systems Dubbo Service Mesh
11-14
该文档主要是2018年阿里云栖大会 开发者的资料集合；内涵各技术大牛的演讲文档，主要讲述了阿里在云计算和大数据等相关方面的最新应用和研究成果；主要包括Flink，RocketMQ，HBase，Streaming Systems，Dubbo ，Service Mesh，PouchContainer,Kubernetes;让我们技术人员感受技术发展成果，能够使我们了解未来技术发展方向和使用相关技术
python flink kafka_Apache Flink:Python流API中的Kafka连接器，“无法加载用户类” - python...
weixin_39640414的博客
12-19 570
我正在尝试Flink的新Python流API，并尝试使用./flink-1.6.1/bin/pyflink-stream.sh examples/read_from_kafka.py运行我的脚本。 python脚本非常简单，我只是想从一个现有的主题中获取内容并将所有内容发送到stdout(或默认情况下output方法在其中发出输出数据的日志目录中的* .out文件)。import globimpo...
Flink CDC 报错记录
qq_41875667的博客
05-31 1068
Flink cdc 报错记录
Hadoop、Spark、Flink、Kafka
weixin_43497124的博客
03-29 3848
一、Hadoop Hadoop是一套大数据计数组件，三大核心组件： ① HDFS：Hadoop分布式文件系统。解决分布式系统的文件存储问题，本质是提供一套跨机器的文件管理服务。 ② MapReduce：Hadoop的分布式运算程序编程框架 ③ Yarn：Hadoop的分布式运算资源调度系统。解决分布式运算程序的启动、资源调度和资源回收。 Hadoop外围组件： ① Hive：基于HDFS和MapReduce的sql工具 ...
Flink的是如何实现exactly_once的？（CheckPoint详解）
IT_但丁的博客
03-18 1586
文章目录一、Exactly_Once（写且仅写一次）二、以FlinkKafkaProducer为例解析1、CheckPoint 源码详解1.1、 CheckpointedFunction中有两个方法：1.2、 CheckpointListener中有一个方法：2、一图总结2.1、流程图2.2、步骤 一、Exactly_Once（写且仅写一次） 目前可以实现exactly_once的不多： sou...
Kafka锦集(一)：Kafka的介绍 | 下载和安装 | kafka服务无法关闭 | bin/kafka-server-stop.sh无效 | 总结的很详细
血煞长虹 的专栏
10-15 4611
本文详细介绍了Kafka的下载和安装，简述zk的安装部署，kafka启动时不识别主界面的解决方案。
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 4234
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
Flink面试突击
小朱小朱绝不认输的博客
02-24 3529
大数据方面的面试总结汇总，本篇为Flink的面试总结。 文章目录一、简单介绍一下 Flink二、Flink 相比传统的 Spark Streaming 区别?三、为什么说 Flink 统一了流和批处理？四、Flink是如何支持批流一体的？五、Flink 的运行必须依赖 Hadoop组件吗？六、Flink的并行度了解吗？Flink的并行度设置是怎样的？七、Flink的基础编程模型了解吗？八、Flink集群有哪些角色？各自有什么作用？九、Flink的架构？十、Flink 的组件栈有哪些？十一、Flink的 Ch
Flink 实战问题（六）：Cannot instantiate user function、StreamCorruptedException: unexpected block data
在前进的路上
06-12 4838
Flink 任务提交，刚启动，一直运行报错：org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function、StreamCorruptedException: unexpected block data
【Flink】Flink Session 任务报错 StreamTaskExecutor Cannot instantiate user function
最新发布
九师兄
03-16 368
20230706 九师兄笔记。flink yarn session模式下，流计算任务报错详情信息如下但是我是可以保证这个类是没有变化过的后面我同事说他遇到过这个问题，重启一下flink sesssion 就好了，然后在重启任务就没事了。验证过，果然如此。
flink常见故障排除
第一片心意的博客
10-16 6784
flink常见故障排除
flink jdbc connector支持clickhouse
u012573226的专栏
12-09 4157
flink jdbc connector支持实时数据写入clickhouse
flink 使用问题记录
岁月静好，做自己。
02-23 2718
1. 提交flink任务： Process finished with exit code 130 org.apache.flink.runtime.rest.NotFoundException: Job 6fe06e87852fa7a12e2276e2876c067a not found at org.apache.flink.runtime.rest.handler.job.AbstractExecutionGraphHandler.lambda$handleRequest$1(AbstractE
flink-sql读写hive-1.13
第一片心意的博客
08-02 6895
本文按照 flink 1.13 官网中的读写 hive 内容翻译整理，内容十分全面。
Docker 实战 Flink mysql java
weixin_35304942的博客
11-06 580
使用Docker 进行快速POC （ Flink, SQL )
Flink日常报错和解决方案记录(企业实战备忘录)
巨魔战将
12-29 4324
问题： 问题： Flink Scala在进行从Connectors中读取数据时，调用createInput方法遇到隐式转换的报错 现象： 报错代码段： // 获取flink环境 val flink = ExecutionEnvironment.getExecutionEnvironment val inputBuilder = JDBCInputFormat ...
flink 调用 dubbo
09-10
需要注意的是，在 Flink 中调用 Dubbo 服务时，要考虑到 Dubbo 服务的网络延迟和故障处理等问题。为了提高性能和可靠性，可以进行负载均衡、容错处理和重试等操作，以确保 Dubbo 服务的可用性和稳定性。 综上所述，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值