【Flink】Flink消费kafka 突然报错 Kafka09PartitionDiscoverer.getAllPartitionsForTopics

最新推荐文章于 2024-09-30 15:46:32 发布
最新推荐文章于 2024-09-30 15:46:32 发布
阅读量1.4k 收藏 3
点赞数 2
分类专栏： 大数据-flink 文章标签： kafka getAll PartitionsFor Topics
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106502491
版权
大数据-flink 专栏收录该内容
854 篇文章 863 订阅 ¥99.90 ¥299.90
订阅专栏
在Flink程序中，由于topic未校验导致传入错误的topic，触发Kafka09PartitionDiscoverer异常。扩容后重建Kafka集群，出现连接断开、消费组信息异常、zk中残留旧信息等问题。通过删除zk中信息、重建topic、调整hostname和防火墙设置，最终解决报错。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
Flink1.17.1消费kafka3.5中的数据出现问题Failed to get metadata for topics [flink].
weixin_46376562的博客
08-22 1928
【代码】Flink1.17.1消费kafka3.5中的数据出现问题Failed to get metadata for topics [flink].
flink连接kafka函数getAllPartitionsForTopics报错NullPointerException
DRD
04-29 950
具体报错如下 java.lang.NullPointerException at org.apache.flink.streaming.connectors.kafka.internal.KafkaPartitionDiscoverer.getAllPartitionsForTopics(KafkaPartitionDiscoverer.java:77) at org.apache.flink.streaming.connectors.kafka.internals.AbstractPartitionD
IDEA在git提交时添加忽略文件
徐泗空的博客
09-30 1490
目录下所有文件的Git提交，你可以通过设置.gitignore文件来实现。在IntelliJ IDEA中，要忽略。也可以先下载这个.ignore插件。# 忽略所有 .gitignore 文件。2、如果不存在，利用上面的插件新建一个。# 忽略所有 .settings 目录。# 忽略所有 .project 文件。# 忽略所有 .class 文件。# 忽略所有 target 目录。# 忽略所有 .idea 目录。# 忽略所有 .log 文件。1、打开项目根目录下的。
Flink Table API读取Kafka数据，并将结果sink到Kafka中
wtmdcnm的博客
06-11 5370
最近在小破站上学Flink，跟着做 “Flink Table API读取Kafka数据，并将结果sink到Kafka中”这样一个小练习，感觉平平无奇，但是一直运行报错
Flink实时数仓---1，Flink SQL读取kafka实操，已经遇到的问题.....持续更新吧
qq_31866793的博客
05-20 3816
1，第一步很重要就是依赖的问题，因为是本地执行，所以最好有hadoop配置环境，没有的话会提示错误信息，自己百度一下，自己下载个winutils.exe ，然后配置环境变量 2，为了图方便直接贴上pom文件依赖（自己看哈，就是hive跟hadoop的依赖）： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xm...
flink-connector-kafka-0.10-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-0.10_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-0.10_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-0.10_2.11-1.10.0-sources.jar； 赠送Maven...
flink读取kafka数据.zip
01-04
Flink 提供了内置的 Kafka Connector，使得可以从 Kafka 主题消费数据并将其转换为 DataStream 或 DataSet。在配置时，我们需要指定 Kafka 的 bootstrap servers、topic 名称以及消费者组 ID。Flink 的 Kafka 源会...
flink-connector-kafka_2.12-1.13.2.jar
04-21
flink-connector-kafka_2.12-1.13.2.jar
Flink消费Kafka数据1
08-03
Flink消费Kafka数据 Flink 是一种大数据处理引擎，可以消费 Kafka 数据。本文将介绍如何使用 Flink 消费 Kafka 数据，并提供了实验环境的配置和资源购买的详细步骤。 一、实验环境配置 在本实验中，我们将使用...
Kafka故障处理之：无可用代理和元数据更新失败大数据
CodeHeroicX的博客
08-21 678
Kafka故障处理之：无可用代理和元数据更新失败大数据在大数据处理中，Apache Kafka是一个广泛使用的分布式流处理平台。然而，在使用Kafka时，可能会遇到一些问题，例如"NoBrokersAvailable"和"Failed to update metadata after X seconds"。本文将详细介绍这些问题的原因和解决方法，并提供相应的源代码示例。
flink读不到kafka数据问题
微电子学与固体电子学-俞驰
06-26 4312
[1]搭建集群 [2]测试kafka集群没问题后, 根据[3]中开始用flink消费kafka数据,发现啥也么有 调试办法如下: ①去$KAFKA/logs下面看了下,是有相关主题的文件夹生成的. ②/kafka-console-consumer.sh --bootstrap-server Desktop:9091,Laptop:9092,Laptop:9093 --topic test-0921 依然没有数据 ③./kafka-console-consumer.sh --bootstrap.
Flinksql 读取kafka问题
huangrunxing的专栏
06-03 933
一个线上flink1.12 sql 读取kafka源的发现，刚开始用这个东西，发现了就及时记录，建kafka表的时候，字段名字要和toplic里面的字段一致，大小写要保持一致，不然读不到数据，er
kafka 请求 UpdateMetadata 处理
这个人很懒什么都没有~
03-01 694
集群 Controller 负责元数据的管理，保存有一个 event 事件队列，如果 event 事件是通知其他节点更新集群元数据的话就会广播元数据更新请求出去。NetworkClient.doSend() 发送集群内部请求 ApiKey=UPDATE_METADATA (org.apache.kafka.clients.NetworkClient)KafkaApis.handleUpdateMetadataRequest() => 更新元数据。// 主副本所在 brokerId。
Kafka遇到的坑-- Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE}
热门推荐
fct2001140269的博客
11-15 3万+
1.创建topic中出现出现错误 kafka出现: Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE} 表示无法识别kafka hostname 正确处理姿势 1、修改server.properties如下，目的是让kafka监听的到 vi /opt/kafka/kafka/config/se...
记一次宕机造成的flink消费Kafka topic失败问题
好记性不如烂笔头
04-13 886
kafka报错：Error while fetching metadata with correlation id 72 ：{topic=LEADER_NOT_AVAILABLE}
Flink Job 任务从kafka topic中抓取数据时，出现问题（Timeout expired while fetching topic metadata）
Eistert
07-02 4133
错误： org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic metadata 在测试环境的时候一点事都没有，当部署到生产后出现了这个问题，找了很多网上的都是不行 又说版本对不上不兼容的，有改变listeners=PLAINTEXT://当前服务器的ip:9092 这种的 这两种都不行 打开spring 打开dubug 日志，发现 连接kafka 的地址变成了 kafka主机名加9092如
Flink怎么获取kafka的topic,partition,offset信息
lzzyok的专栏
10-10 2258
实现KafkaDeserializationSchema解决Flink中对kafka消息反序列化问题
Caused by: java.lang.ClassNotFoundException: org.apache.flink.connector.kafka.source.KafkaSource
最新发布
10-12
`ClassNotFoundException`表示JVM无法找到指定的类，这里特别指定了`org.apache.flink.connector.kafka.source.KafkaSource`。这通常意味着Flink的Kafka Source连接器未正确添加到项目classpath中，或者是版本问题，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值