Flink消费Kafka错误：org.apache.kafka.common.KafkaException: Failed to construct kafka consumer

最新推荐文章于 2024-07-23 10:49:27 发布
最新推荐文章于 2024-07-23 10:49:27 发布
阅读量1.9w 收藏
点赞数 1
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaozhaoshigedasb/article/details/90043339
版权
这篇博客主要介绍了在使用Flink消费Kafka时遇到的错误及解决方法。错误包括因多个topic的client_id相同导致的问题，以及资源分配不合理的问题。通过设置不同的client_id和调整YARN队列解决了这些问题。
摘要由CSDN通过智能技术生成

全部解决了

org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
	at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:717)
	at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:597)
	at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:579)
	at org.apache.flink.streaming.connectors.kafka.internal.Kafka09PartitionDiscoverer.initializeConnections(Kafka09PartitionDiscoverer.java:58)
	at org.apache.flink.streaming.connectors.kafka.internals.AbstractPartitionDiscoverer.open(AbstractPartitionDiscoverer.java:94)
	at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase.open(FlinkKafkaConsumerBase.java:470)
	at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:36)
	at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:102)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.openAllOperators(StreamTask.java:424)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:290)
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:704)
	at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.kafka.common.KafkaException: Error registering mbean kafka.consumer:type=consumer-metrics,client-id=consumer-1
	at org.apache.kafka.common.metrics.JmxReporter.re
最低0.47元/天 解锁文章
乖乖猪001
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink读取Kafka报错：KafkaException ByteArrayDeserializer is not an instance Deserializer
九师兄
10-20 3606
1.视界 2.背景 做flink读取kafka报错 org.apache.kafka.common.KafkaException: Failed to construct kafka consumer at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:765) at org.a...
maven命令行创建web项目报错：java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils...
wuxun1997的专栏
11-21 8630
　　早上新建一个web项目，没想到一敲命令创建就失败了，真是出师不利。各种折腾无果，当然我也可以用eclipse直接创建的，就是想搞清楚状况。刚刚才发现问题原因，这个结果我也是醉了，太坑爹了。 　　问题现象： E:\workspace>mvn archetype:generate -DarchetypeCatalog=internal -DgroupId=com.wulf.memcac...
flink连接kafka报：org.apache.kafka.common.errors.TimeoutException
群峰之巅的专栏
09-14 2423
KAFKA_ADVERTISED_LISTENERS：负责发布外网地址，这个地址会发布到zookeeper中。2、修改kafka安装的配置，把kafka改成具体的ip。1、在本地的hosts中配置域名指向；所以最终会去访问kafka。
Kafka常见错误及解决办法
yiweiyi329的博客
09-24 4万+
1、报错信息： org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518} 报错原因：当消费者消费offset大于或小于当前kafka集...
出现这个报错，无法解决cannot assign instance of org.apache.kafka.clients.consumer.0ffsetResetstrategy to field
最新发布
weixin_70390501的博客
07-23 264
首先，将Kafka的kafka-clients从flink-connector-kafka排除，然后增加kafka-clients。第二：在flink的conf文件中增加parent-frist。第三：在flink的lib里面增加jar包。这是由于jar包冲突导致的。
连接kafka报错Failed to construct kafka consumer----EncryptionKey: Key bytes cannot be null!
大数据开发实践者
09-07 9561
部门kafka升级由之前的0.8版本升级到1.0以上，调试的时候报下面的错误，网上也没搜到相关内容，最后发现是因为java进程启动参数之一直指定了依赖文件路径： -Djava.ext.dirs=$BASEDIR，而这种写法会覆盖默认的ext值：jre/lib/ext，新版kafka认证对其下的包有依赖 改正： -Djava.ext.dirs=$JAVA_HOME/jre/lib/ext:$BAS...
Caused by: org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
weixin_36585549的博客
11-03 7727
遇到的问题 kafka使用kerberos安全认证后，我这边的消费程序需要修改。原本如果是普通的消费程序，加两行代码就行了： System.setProperty("java.security.auth.login.config", kafkaJaasPath); System.setProperty("java.security.krb5.conf", krb5Path); 但是我的程序是用spark streaming框架写的。原本在我的idea上跑local跑的好好的，结果一上到spark st
kafka报错（三）：Failed to construct kafka consumer
热门推荐
桃花惜春风
09-06 5万+
错误日志： Exception in thread &amp;quot;main&amp;quot; org.apache.kafka.common.KafkaException: Failed to construct kafka consumer at org.apache.kafka.clients.consumer.KafkaConsumer.&amp;amp;lt;init&amp;amp;gt;(KafkaConsumer.java:79...
kafka 报错：Failed to construct kafka consumer
coconutfd的博客
12-13 1万+
kafka 报错：Failed to construct kafka consumer 原因： 对key和value序列化和反序列化的时候导错包~~ "key.deserializer" -> classOf[StringDeserializer], "value.deserializer" -> classOf[StringDeserializer], 正确的序列化和反序列化包：## 标题 ...
SpringBoot中使用Kafka报错：Failed to construct kafka consumer
wufabao的博客
02-26 2万+
报错内容 在SpringBoot项目中使用了Kafka，在启动的过程中报错 2022-02-26 11:44:10.422 ERROR 26148 --- [ main] o.s.boot.SpringApplication : Application run failed org.springframework.context.ApplicationContextException: Failed to start bean 'org.springframe
flink消费kafka报错：org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V
weixin_43079984的博客
03-26 4514
flink消费kafka上数据时报错： Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V 错误原因： Flink的kafka Consumer版本和kafka-client的版本不一致 解决方案：三者版本一致 正确配...
org.apache.flink.kafka.shaded.org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
05-21
3. 配置错误：请确保您的 Kafka 消费者配置正确。例如，您需要指定正确的 Kafka 服务器地址、端口、主题名称等等。 4. 应用程序权限：请确保您的应用程序有足够的权限来访问 Kafka 集群。例如，如果您的应用程序...
flink启动报错Failed to construct kafka producer
cclovezbf的博客
07-13 1966
目前是b的工程，那么会不会是jar冲突了，是自己工程冲突了 还是打的jar和flink_home/jar里的jar冲突了？本地起了一个sink2kafka的demo 也没问题，但是在服务器启动的时候就报错了，试了多次无果，开始分析报错原因。a喜欢打非依赖的jar的包，也就是flink的jar都不打进去，全放到服务器的flink_home/jar里。当时我最开始就考虑是jar包冲突，再看下是否冲突，突然想到一个问题，项目中的有两个人。b喜欢打全依赖的jar包，也就是所有flink的jar都打进去，然后执行。
java项目集成springboot使用kafka消费者，启动失败报错 Failed to construct kafka consumer
wfanking的博客
03-11 1万+
前言：之前博客里面提到本公司为物联网项目。项目中使用mqtt+kafka进行与设备端的通讯，之前的协议格式为json格式，现在改成字节数组byte[]格式进行通信。集成springboot后，具体的demo网上很多，接下来有时间会出一份kafka的demo。 报错信息如下： Failed to start bean 'org.springframework.kafka.config.interna...
解决win10系统下的Kafka报错： Failed to construct kafka consumer
qq_42068723的博客
05-30 1238
更新代码后打包成功了，但是项目启动时报错，报错信息如下图： 咱就是说很明显问题出在kafka这一块了，看了一下配置，应该是端口的问题。 这里我没有用ip配置，直接在host文件中配置了端口名，如下图： 添加配置 127.0.0.1 kafka-server 然后在项目的application配置文件中将kafka的服务地址改为 kafka-server:9092 ...
spark包链接kafka集群报错org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
AnNanDu的博客
04-26 4480
1、如果是spark执行的包请到spark下面的jars文件夹里检索是否拥有相关的jar包 可以看到我这里是有的，那就不是jar包的问题 2、确认是不是版本问题，在自己的本地测试里看一下maven的包 我这边版本是一致的，所以也不是版本问题，那是什么原因造成创建消费失败的呢 3、kafka的链接 可以看到kafka是用了集群的，三个链接是配置了hosts的，我们看一下我们运行...
spring集成kafka运行时报错：Failed to construct kafka producer] with root cause
Zhang Phil
03-03 5810
spring集成kafka运行时报错：Failed to construct kafka producer] with root cause org.apache.kafka.common.KafkaException: class org.apache.kafka.common.serialization.StringDeserializer is not an instance of org.apache.kafka.common.serialization.Serializer 如图：
Docker部署Kafka消费者Failed to construct kafka consumer
李世文的博客
12-31 4659
Docker部署Kafka消费者 报错 Failed to construct kafka consumer No resolvable bootstrap urls given in bootstrap.servers Removing server cdh1.tw9.com:9092 from bootstrap.servers as DNSresolution failed for cdh1.tw9
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值