IDEA Kafka:The configuration ‘xxx‘ was supplied but isn‘t a known config

寧三一

已于 2023-03-20 17:31:16 修改

阅读量4.1k

点赞数 1

分类专栏：纠错集文章标签： intellij-idea kafka java

于 2023-03-14 19:58:20 首次发布

本文链接：https://blog.csdn.net/weixin_51967583/article/details/129538707

版权

文章描述了在使用Kafka时遇到的配置错误，具体包括kafka.input.topics，checkpoint.interval和checkpoint.path这三个配置未被识别。处理建议涉及检查配置的正确性，可能的数据过大导致资源不足问题，以及尝试重启Kafka或增加资源解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-krxewaZK-1678794870514)(afb02629eef39e4da85c6b2fa36113a0.png)]

报错信息

// 提供了配置，但不是已知的配置。
[] - The configuration 'kafka.input.topics' was supplied but isn't a known config.
[] - The configuration 'checkpoint.interval' was supplied but isn't a known con

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

寧三一

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
4
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

kafka ConsumerConfig: The configuration max.poll.records = 1 was supplied but isn't a known config

九师兄

08-26

9560

1. 背景写的Spark Structured SQL 任务，然后用的spark版本为 <spark.version>2.3.0.cloudera2</spark.version>  <dependency> <groupId>org.apache.spark</groupId&...

【Flink】Flink 写入 kafka 报错 The server disconnected before a response was received

九师兄

08-09

3253

Flink 写入 kafka 报错 The server disconnected before a response was received这个flink写入kafka确实流量很大，大约8万条/s，我起了72个并发来写入,集群有9台kafka，单机128G内存，之前运行都没问题，最近才出这个状况另外我查资料有的说增大：connections.max.idle.ms，这个缺省值540000 也够大了，需要调整吗？我的kafka版本是1.0.1。其他输出流量小的flink就没这个问题，奇怪。

4 条评论您还未登录，请先登录后发表或查看评论

kakfaTemplate使用sasl.jaas.config配置无法被解析

最新发布

weixin_44888725的博客

01-23

822

在代码中是用kafkaTemplate去操作kafka,却发现一直连接不上,sasl的配置全都配置正确,使用kafkaProducer 可以正常发送与消费消息。

was supplied but isn‘t a known config

鸭梨的博客

01-03

1万+

代码如下 val df: DataFrame = spark.readStream .format("kafka") .option("kafka.bootstrap.servers", "mypc01:9092,mypc02:9092,mypc03:9092") .option("subscribe", "cat") // 从头消费 .option("staringOffsets", "earliest") // 设置消费者组

java kafka ssl_Kafka SSL 连接错误

weixin_39762001的博客

02-25

1245

我从客户端进行生产时收到以下警告，该客户端连接到包含基于 SSL 的身份验证的服务器端：[2016-03-10 07:09:13,018] WARN The configuration ssl.keystore.location = /etc/pki/tls/certs/keystore-hpfs.jks was supplied but isn't a known config. (org.ap...

Kafka中ConsumerConfig源码介绍

杨春建的博客

11-09

4093

Kafka中ConsumerConfig源码 public class ConsumerConfig extends AbstractConfig { private static final ConfigDef config; public static final String GROUP_ID_CONFIG = "group.id"; public static f

kafka生产者事务踩坑记录

TangYuG的博客

07-30

351

公司需要迁移一个老 spark 项目，之前是消费阿里 LogStore 中的实时数据，处理之后将结果落库。使用的是 spark streaming，batch 时间为 2 分钟。迁移后，需要将 LogStore 切换为 kafka，涉及到了对代码的改动。公司的 kafka 上游生产者发送数据，由于细节的设计需要，生产者开启了事务，以确保数据准且一次的写入 kafka。

IDEA Kafka：Connection to node -2 could not be established. Broker may not be available

XIATWO

03-14

2553

[Consumer clientId=consumer-2, groupId=null] Connection to node -2 could not be established. Broker may not be available.

【Kafka】Failed to send data to Kafka: Expiring 30 record(s) for xxx 732453 ms has passed since last

九师兄

07-03

5868

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

Kafka配置max.poll.interval.ms参数

yuanpanni的博客

07-16

4万+

Kafka配置max.poll.interval.ms参数 max.poll.interval.ms默认值是5分钟，如果需要加大时长就需要给这个参数重新赋值这里解释下自己为什么要修改这个参数：因为第一次接收kafka数据，需要加载一堆基础数据，大概执行时间要8分钟，而5分钟后，kafka认为我没消费，又重新发送，导致我这边收到许多重复数据，所以我需要调大这个值，避免接收重复数据大部分文章都是如下配置： public static KafkaConsumer<String, String> c

Kafka+sparkStreaming+Hbase(二)

hyj

06-24

368

一、说明将此项目打成一个jar包telecomeAnalysis-1.0.0.jar，提交到yarn进行测试； 1、将telecomeAnalysis-1.0.0.jar放到master的/home/test/sparkpro/目录下 2、phoenix先查看表数据为空 3、查看yarn正在运行的任务列表为空 [root@master ~]# yarn application -appStates running -list 20/06/24 15:08:45 INFO client.

CDH6.3.2下使用debezium1.6.1 mysql5.7 记录

m0_59811476的博客

08-04

1805

[2021-08-04 10:41:38,827] WARN The configuration 'config.storage.topic' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:287) [2021-08-04 10:41:38,828] WARN The configuration 'group.id' was supplied but isn't a ...

报错:（未解决）Opening socket connection to server master/192.168.52.26:2181. Will not attempt to authentic...

weixin_30307267的博客

05-21

3286

报错背景： CDH集群中，将kafka和Flume整合，将kafka的数据发送给Flume消费。启动kafka的时候正常，但是启动Flume的时候出现了报错现象。报错现象： DH-5.15.1-1.cdh5.15.1.p0.4/lib/hadoop/lib/native:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/...

使用Flink Maven项目进行词频统计

yiyiqi123的博客

04-13

289

批处理 def main(args: Array[String]): Unit = { //创建执行环境 val env = ExecutionEnvironment.getExecutionEnvironment //从文件中读取数据 val unit = env.readTextFile("C:\\Intel\\day046\\input\\word.txt") //进行数据处理 val ww...

Spring Boot整合Kafka

jonssonyan

04-21

230

Apache kafka官网上对kafka的简单别成为 a distributed streaming platform 即一个分布式流平台主要有三大功能： publish and subscribe 发布和订阅像消息系统一样读写数据流 process（kafka stream ）处理数据 Storage 存储系统配置环境安装JDK https://www.oracle.com/java/technologies/javase-downloads.html 安装Zookeeper Zook

Kafka JAAS Plain SASL 安全认证配置

坚持的旅程

07-27

1万+

1. 为zookeeper添加 jaas 文件 zookeeper { org.apache.kafka.common.security.plain.PlainLoginModule required username="geting" password="geting"; };

Kafka SASL配置 & Demo测试

Be yourself.

03-14

2万+

引言接到一个任务，调查一下Kafka的权限机制。捣鼓了2天，终于弄出来了。期间走了不少的坑。还有一堆不靠谱的家伙的博客。 Kafka版本 1.0.0 Scala 2.11 ZooKeeper 2.4.10 根据Kafka的官网文档可知，Kafka的权限认证主要有如下三种: SSL SASL(Kerberos) keytool&amp;amp;amp;opssl脚本配置证书 SASL/PLAIN...

Spring Boot application.properties或application.yml相关配置