Kafka启动成功且运行程序无报错，无法消费数据，即外网无法连接Kafka的消费者或生产者

已于 2022-04-23 21:43:01 修改
阅读量4.5k 收藏 2
点赞数 5
分类专栏： 大数据 文章标签： kafka 分布式 big data spark
于 2021-12-11 17:00:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44033210/article/details/121732684
版权

Kafka启动成功且运行程序无报错，无法消费数据，即外网无法连接Kafka的消费者或生产者

sparkStreaming消费kafka中的数据，得不到数据以及无报错信息，找错误如下

在这里插入图片描述
首先检查一下，Kafka的消费者和Kafka生产者的Topic是否对应错误，以及其他错误
开启kafka使用下面指令，看kafka是否有错误

/opt/module/kafka/bin/kafka-server-start.sh  /opt/module/kafka/config/server.properties

注意程序控制台是否出现错误
在这里插入图片描述
以及log4j.properties文件的配置

在这里插入图片描述

解决办法（无报错解决办法）

进入zookeeper的bin目录

./zkCli.sh

删除zookeeper的kafka元数据
在这里插入图片描述
删除指令

rmr /brokers/topics

在kafka的conf的server.properties文件里面加入一下配置，（其中192.168.88.107是自己的对外地址）

###添加一下内容，xxxxxx为虚拟机IP(列入192.168.88.107)
listeners=PLAINTEXT://xxxxx:9092

###添加一下内容，xxxxxx为虚拟机IP(列入192.168.88.107)
advertised.listeners=PLAINTEXT://xxxxxxx:9092

然后重启zookeeper和kafka

坤坤不爱吃鱼
关注
  • 5
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka生产者和消费者的javaAPI的示例代码
08-27
主要介绍了kafka生产者和消费者的javaAPI的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区
01-04
springboot集成kafka实战项目代码 项目介绍地址：https://blog.csdn.net/qq_38105536/article/details/122308040
Kafka Java客户端无法消费 又不报错
weixin_41227335的博客
10-13 3922
首先kafka java api有新旧两个版本，区别： 旧版数据是存在zookeeper，配置文件是“zookeeper.connect ” 默认2181端口 新版数据存在topic，配置文件是 “bootstrap.servers” 默认是9092端口 推荐用新版 另外连接虚拟机打主机名需要在win10上配置linux的主机名IP映射才能连接 ...
Kafka安装后无法启动问题
最新发布
Freesia_0705的博客
04-17 349
ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't match stored broker.id 0 in meta.properties. If you moved your data, make sure your conf
java客户端进行kafka测试时，生产者不能生产信息，消费者不能消费信息，而且没有报错，但是在虚拟机中没有任何错误
gaoganghua的博客
06-17 2613
我的kafka在虚拟机中都正常启动，而且在虚拟机中生产和消费信息都没有错误，但是使用window客户端生产和消费时不成功，而且也不报任何错误，生产和消费消息时都停留一段时间然后结束。以下是我提供的一种思路，但不一定适合所有这样的错误：先看一下虚拟机系统中kafka安装目录的config/server.properties中的listener有没有配置正确。注意不要写成localhost，要写成具体...
springmvc消费kafka，遇到一个topic消费无反应，但其他的topic正常消费
puxiansen的博客
06-22 1033
springmvc消费kafka，遇到一个topic消费无反应，但其他的topic正常消费
kafka消费不到数据问题
qq_42315376的博客
02-27 7717
kafka消费者不能正常消费的原因与解决方法
Kafka消费不到数据
wildding的博客
05-16 3273
方法1：登录bin/zkCli.sh 然后删除kafka中/brokers/topics/__consumer_offsets 节点。看logdir的目录，换个目录或者删除目录中的数据，本机是 rm -rf datas/* (方法2：停止zookeeper： zk.sh stop 查看conf/zoo.cfg的。：zookeeper报错日志可以在 logs里xxxx.out中查看)：kafka报错日志可以在 logs里 server.log查看)1.首先停止kafka： kafka.sh stop。
Kafka消费者无法消费数据，解决
qq_51651655的博客
08-24 8460
解决Kafka消费者无法消费数据问题
【kafka消息查询】kafka消费不到数据，写入端伙伴说他写入了，而且没有报错，如何来切割是写入的问题还是消费的问题
weixin_40293999的博客
08-07 485
kafka消费不到消息，如何查询界定是生产端的问题还是消费端的问题，特别是场景上下文已经丢失了的时候。kafka参考文档。
kafka可以正常启动但消费不到数据
Zqq15919158003的博客
07-10 460
Kafka消费不到数据_kafka消费不到数据也不报错_wildding的博客-CSDN博客
kafka客户端生产者消费者kafka可视化工具（可生产和消费消息）
06-22
一共包含两个程序，分别是Kafka生产者工具、Kafka消费者工具。 1、使用bootstrap、userName、password...通过Kafka生产者和消费者工具，应用程序可以轻松地与Kafka集群进行交互，从而实现实时数据处理和流分析等功能。
Java实现Kafka生产者消费者代码实例
08-19
主要介绍了Java实现Kafka生产者消费者代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
kafka模拟生产者消费者(集群模式)实例
04-27
kafka模拟生产者、消费者，集群模式，若是单机版，将ip端口组改为相应ip端口即可；
Kafka 消费者远程读不到数据
ChengYanan的博客
08-28 1544
kafka远程消费不到数据,但是也不报错 远程主机用telnet命令去测试kafka以及zookeeper节点的9200端口以及2181端口都畅通。 这是因为没有配置advertised.host.name，所以kafka获取ip信息的时候使用的是java.net.InetAddress.getCanonicalHostName()，在linux下该方法获取的是主机名。 说明：在老版本的kafk...
springboot——ActiveMQ
WannaRunning的博客
11-22 295
JMS中有两种消息模型：一种是点对点（point to point， queue），另一种是发布/订阅（publish/subscribe，topic）。 通俗地讲，这两者之间的别就是一条消息被发布后是否能被消费者重复消费。 点对点：Queue 生产者生产一条消息发送到queue中，某个在坚挺的消费者从queue中取出，消费消息，并告知MQ服务这条消息被消费了，queue中不再有存储，至此...
Kafka消费不到数据/消费者没有反应
热门推荐
hxc2101的博客
03-06 1万+
问题引言： 在测试kafka最简单的这个案例时，发现消费者端接收不到数据，完全没有反应 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning 解决方式 进入zookeeper客户端，将brokers节点下的topics节点
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
07-07 1941
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
【Kafka-BUG】Kafka消息无法正常消费
整理输出各类知识
10-27 1912
Kafka消息无法正常消费
kafka开启kerberos认证后如何连接zookeeper
07-08
在 Kafka 开启了 Kerberos 认证后，连接 ZooKeeper 需要进行以下步骤： 1. 配置 Kafka 服务器以使用 Kerberos 认证。在 Kafka 配置文件（通常是 `server.properties`）中，添加以下属性： ``` listeners=SASL_PLAINTEXT://<Kafka_server_host>:<Kafka_server_port> security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=GSSAPI sasl.kerberos.service.name=kafka ``` 2. 配置 ZooKeeper 服务器以支持 Kerberos 认证。在 ZooKeeper 配置文件（通常是 `zoo.cfg`）中，添加以下属性： ``` authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider requireClientAuthScheme=sasl jaasLoginRenew=3600000 jaasLoginRefresh=3600000 ``` 3. 生成 Kafka 和 ZooKeeper 的 Kerberos Keytab 文件。Keytab 文件包含了用于服务认证的凭证信息。可以使用 `kadmin` 命令行工具生成 Keytab 文件。 4. 在 Kafka 服务器上配置 Kerberos 客户端。将 Kafka 和 ZooKeeper 相关的 Keytab 文件分发到 Kafka 服务器上，并配置 Kerberos 客户端以使用这些文件。 5. 启动 Kafka 服务器和 ZooKeeper 服务器。确保 Kafka 服务器和 ZooKeeper 服务器都已正确配置并启动。 6. 使用 Kafka 客户端连接到 ZooKeeper。在代码中，使用适当的配置和认证信息创建 Kafka 客户端，并指定 ZooKeeper 的连接字符串，例如： ```java Properties props = new Properties(); props.put("bootstrap.servers", "<Kafka_server_host>:<Kafka_server_port>"); props.put("security.protocol", "SASL_PLAINTEXT"); props.put("sasl.kerberos.service.name", "kafka"); props.put("group.id", "<consumer_group_id>"); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Arrays.asList("<topic_name>")); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); // 处理消费记录 } ``` 请注意，上述步骤是一个基本的指南，实际操作中可能会有其他配置和设置需求。详细的步骤和配置可以参考 Kafka 和 ZooKeeper 的官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值