Kafka~本地Python Kafka发送数据，服务端Kafka消费不到

已于 2022-11-14 14:22:19 修改
阅读量1.4k 收藏 6
点赞数
分类专栏： Error & Warring 文章标签： kafka 分布式 java
于 2022-08-11 14:21:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feizuiku0116/article/details/126284619
版权

1. 问题描述

在本地通过python的Kafka模块和Pykafka模块创建Kakfa生产者往服务器的Kakfa发送数据，在服务端使用Kakfa消费者消费不到数据

2. 问题原因

Kafka的配置文件server.properties中的配置项listeners默认被注释掉了，导致kafka只能接收本机localhost的数据

3. 解决方案

将listeners配置项改为PLAINTEXT://192.168.10.101:9092(我的服务器ip为192.168.10.101)，重启kafka可以消费到数据
在这里插入图片描述

飞Link
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 消费 kafka 数据教程
12-23
1.安装python模块 pip install --user kafka-python==1.4.3 如果报错压缩相关的错尝试安装下面的依赖 yum install snappy-devel yum install lz4-devel pip install python-snappy pip install lz4 2.生产者 #!/usr/bin/env python # coding : utf-8 from kafka import KafkaProducer import json def kafkaProducer(): producer = KafkaProduce
关于python中kafka的producer和consumer推送消费失败问题
blackball9的博客
05-13 897
用的公司电脑，之前在公司的时候用本机搭建了一个kafka的服务，之前用的一直好好的，今天在家用本机测试的时候，发现producer往kafka推送任务的时候失败，在删除了kafka的log文件之后再从新启动，log文件又回来了，但是就是不能推送，zookeeper正常，kafka服务正常，就是不行，后来在调整了kafka的配置文件中的允许ip之后服务可以正常了。 ...
kafka消费不到消息原因
热门推荐
蘑菇丁的专栏
05-16 2万+
今天安装chd6.1安装完里面把组件kafka集成到集群里,集群内仅配置一个broker，但是kafka里的offsets.topic.replication.factor=3 由于一台机器--replication-factor 超过1会报错，在创建topic时我只能赋值 --replication-factor=1 如下 kafka-topics --zookeeper...
记录一次kafka topic 消费不到数据问题排查
u012693823的博客
07-23 4611
如果数量小于既定kafka broker数说明kafka挂了,需要重启kafka kafka.1.server status #检查 kafka.1.server start #启动 如果无上述命令,执行 history|grep kafka , 查看kafka相关启动命令 如果执行命令无法启动kafka,极有可能是内存不足或者磁盘不足 内存不足 执行top命令,看哪个应用占的比较多,能干掉的先干掉 如果磁盘不足 执行df -h ,看是哪个文件过大导致,清理出多余
kafka-python 消费者消费不到消息
最新发布
qiaobing1226的博客
08-22 2217
kafka-python 消费者消费不到消息
python kafka消费不到数据_logstash无法消费kafka数据
weixin_39793434的博客
12-17 3176
通过在控制台执行logstash，可以看到正常连接到kafka，但数据一直无法消费，然后过大约5分钟后连接就断开了，也能看到明显的提示[WARN ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator][main] [Consumer clientId=logstsh-0, groupId=gc] This member ...
【kafka】使用本地代码作为生产者发送消息，但是在服务器中消费者接收不到信息
zuo1057559550的博客
07-10 1772
今天因工作需要，做了一些关于kafka实时收发数据的一些性能测试，避免不了本地的代码运行。发现使用本地代码作为生产者发送消息，但是在服务器中消费者接收不到信息。
kafka-python批量发送数据的实例
09-19
今天小编就为大家分享一篇kafka-python批量发送数据的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python消费kafka数据批量插入到es的方法
01-20
1、es的批量插入 这是为了方便后期配置的更改，把配置信息放在logging.conf中 用elasticsearch来实现批量操作，先安装依赖包，sudo pip install Elasticsearch2 from elasticsearch import Elasticsearch ...
python kafka 多线程消费者&手动提交实例
01-20
官方文档：https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html import threading import os import sys from kafka import KafkaConsumer, TopicPartition, OffsetAndMetadata from ...
kafka消费不到数据问题
qq_42315376的博客
02-27 7693
kafka消费者不能正常消费的原因与解决方法
python3 kafka生产消费 消费历史没有消费的消息
蘑菇丁的专栏
05-30 4444
#!/usr/bin/env python3# # -*- coding: utf-8 -*-import json#import scrapyfrom kafka import KafkaProducerfrom pykafka import KafkaClientclass Demo01():    @staticmethod    def exe():        print('#####...
记录一次本地开发环境kafka消费者不消费问题
芬达的成长之路
04-19 1079
kafka消费者不消费问题
Kafka消费者无法消费数据，解决
qq_51651655的博客
08-24 8444
解决Kafka消费者无法消费数据问题
Kafka写生产消费者实例时，生产者正常，但消费者无法消费的问题
优质后端技术知识记录
12-12 1333
解决：把所有节点的kafka都启起来，问题解决
【Kafka】 Kafka 外网无法消费的问题
Mrerlou的博客
06-30 606
最近在学习，于是在阿里云搭建了服务。在阿里云服务器上使用命令行手动生产、消费都没什么问题，但是在使用代码消费时，却一直，无法消费。使用 调试，控制台没有任何输出，仿佛卡住了一样。这里需要配置为外网的地址和端口，是暴露给外部的，如果没有设置，会用 如：这里贴下相关的代码 2. 代码 问题解决！...
python 操作kafka 生产消费
菜鸟吴de博客
08-17 1075
python 操作 kafka
pykafka中consumer_group的设置
jameson_的专栏
11-23 9293
pykafka　consumer
Kafka消费不到数据的特殊情况
weixin_30877755的博客
11-13 1407
我大约是把kafka消费不到数据的特殊情况都经历了一遍了吧= =、 kafka消费不到数据的原因，首先检查配置之类的，如是否设置了group.id，对应的topic是否正确等等，这些不多说。 下面是我遇到的几种kafka消费不到数据的情况： 1.多分区，单例消费者的情况，只消费到一个分区，应多加几个消费者，不能用单例，直接subscribe的话，rebalance机制启动，手动的话如下 ...
kafka 生产者发送数据,消费者接受不到
06-03
可能有多种原因导致这个问题，以下是一些常见的检查点： 1. 确保生产者和消费者连接的是同一个 Kafka 集群，并且生产者发送数据的 topic 和消费者订阅的 topic 是一致的。 2. 检查生产者发送数据时是否有报错，例如网络连接错误、消息发送失败等等。可以查看 Kafka 日志或者生产者的返回值来确认是否发送成功。 3. 检查消费者是否正确订阅了 topic，并且消费者的消费组是否和其他消费者在同一个消费组内。如果消费者在不同的消费组内，那么它们将会消费不同的消息。 4. 确认消费者的消费位置是否正确。如果消费者的消费位置设置不正确，例如设置为最新的消息，那么消费者将无法消费之前发送的消息。 5. 检查 Kafka 集群的状态，例如是否有 broker 宕机、网络连接故障等等。可以使用 Kafka 命令行工具或者运维平台来检查集群的状态。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值