解决同步Kafka集群，消费不到数据

最新推荐文章于 2024-06-15 10:03:44 发布
最新推荐文章于 2024-06-15 10:03:44 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： Kafka Spark 文章标签： kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RONE321/article/details/103992142
版权
Spark 同时被 2 个专栏收录
18 篇文章 0 订阅
订阅专栏
Kafka
5 篇文章 0 订阅
订阅专栏

今天使用华为云(Dest）同步金山云(Source)Kafka数据时，华为云一点点响应都没。我登录控制台尝试直接启动Consumer去消费，结果也是一样消费不到数据！
接着就是确认网络通不通的问题了！

  • ping 一下 ok 通的
  • telnet 一下 ok 可以进入9092端口的

那么到底哪里出了问题了呢？
左思右想不得琦姐。
出去走了一圈突然想到了，以前在自己搭建的大数据环境上也遇到过这种问题，指定IP消费不到数据，必须指定域名。这才恍然大悟，赶紧给金山云要来他们Kafka集群的hosts文件,在我们华为云的hosts文件上添加映射金山云Kafka的域名。

然后完美解决问题。
至于问题在哪儿 ，我想是zookeeper，指定的是host所以必须使用host
加粗样式
怎说也得上个图吧在这里插入图片描述

Rone-X
关注
专栏目录
大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库
zhengzaifeidelushang的博客
08-13 396
大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库
Debezium系列之：debezium同步sqlserver数据库数据到kafka集群
zhengzaifeidelushang的博客
10-13 697
Debezium系列之：debezium同步sqlserver数据库数据到kafka集群
Kafka消费不到数据
wildding的博客
05-16 3777
方法1：登录bin/zkCli.sh 然后删除kafka中/brokers/topics/__consumer_offsets 节点。看logdir的目录，换个目录或者删除目录中的数据，本机是 rm -rf datas/* (方法2：停止zookeeper： zk.sh stop 查看conf/zoo.cfg的。：zookeeper报错日志可以在 logs里xxxx.out中查看)：kafka报错日志可以在 logs里 server.log查看)1.首先停止kafka： kafka.sh stop。
mysql分区
lion的博客
10-24 277
一、查看mysql是否支持分区 MySQL5.1开始支持分区 1.MySQL5.6以及之前版本 show variables like '%partition%'; YES 则支持分区 2.MySQL5.7以后 show plugins; 如下则支持分区 二、分区详解 1.分区表分类： RANGE分区、LIST分区、HASH分区、KEY分区、复合分区 2.分区表限制： 分区键必须包含在表的所有主键、唯一键中。 MYSQL只能在使用分区函数的列本身进行比较时才能过滤分区，而不能根据表达式的值去过滤
Kafka消息能正常发送，但是无法消费问题排查
最新发布
念念不忘，必有回响
06-15 1315
如果kafka能正常发送消息，但是消费异常，一般是消费位点出现了问题，即管理消费位点的这个toipc目前来看新增了3个brokerkafka并没有自动对进行分区迁移，需要手动进行迁移所以后续出现消费相关的问题可以优先检查这个topic的情况,毕竟kafka得消费位点都依赖于这个topic。
kafka消费不到消息原因
蘑菇丁的专栏
05-16 2万+
今天安装chd6.1安装完里面把组件kafka集成到集群里,集群内仅配置一个broker，但是kafka里的offsets.topic.replication.factor=3 由于一台机器--replication-factor 超过1会报错，在创建topic时我只能赋值 --replication-factor=1 如下 kafka-topics --zookeeper...
虚拟机启动kafka后主机无法消费的问题
Jasonhada的博客
02-19 1641
Python消费虚拟机上的kafka消息
Linux消费kafka话题数据,logstash 消费数据到kafka异常
weixin_35755640的博客
05-12 598
报错 ：[logstash.outputs.kafka ] Sending batch to Kafka failed. Will retry after a delay. {:batch_size=>1, :failures=>1, :sleep=>0.1}原因： logstash 日志报错生产数据到 kafka 失败解决办法：查看kafka配置，默认单条消息最大为1M...
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
kafka集群生产消费
weixin_47270063的博客
10-27 1028
kafka入门 1.1 定义 ​ 卡夫卡是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 1.2 消息队列 定义：是一种应用之间的通信方式，消息发送后立即返回，有消息系统来确保信息的可靠传递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管是谁发布的，这样发布者和使用者都不用知道对方的存在。 同步处理：需要等待消息的处理完成，才可以接着执行下去。 异步处理：发送以后不必等待完成。 使用消息队列的好处： 解耦 允许你独立的扩展或修改两边的处理
kafka集群副本同步问题排查
battybaby的博客
01-05 2534
kafka失效副本是什么，具有哪些应对措施，在某节点故障情况下kafka集群副本状态监控情况，如何确认集群副本已恢复正常，故障期间会对下游消费有什么影响
Kafka消息数据积压，消费能力不足如何处理？
qq_35139965的博客
08-11 4075
可以从两方面考虑： 1、如果是Kafka消费能力不足，则可以考虑增加Topic的分区数（一般一个Topic分区数为3-10个），并且同时提升消费组的消费者数量，消费者数==分区数。两者缺一不可 2、如果是下游的数据处理不及时：则提高每批次拉取的数量。批次拉取数据过少（拉取数据/处理时间<生产速度），使处理的数据小于生产的数据，也会造成数据积压。 ...
【kafka消息查询】kafka消费不到数据，写入端伙伴说他写入了，而且没有报错，如何来切割是写入的问题还是消费的问题
weixin_40293999的博客
08-07 655
kafka消费不到消息，如何查询界定是生产端的问题还是消费端的问题，特别是场景上下文已经丢失了的时候。kafka参考文档。
kafka 指定partition两种方式&Consumer不消费消息的几个原因
Nougats的博客
05-11 2万+
需求1.随机生成IP数字，将奇数、偶数数据分在不同的Partition 2.通过KafkaAPI实现一个消费组中多消费者，为了是验证同组的不同消费者是否一一对应不同的Patition 3.打包部署在Linux中运行解决办法方法1： 在producer发送消息时指定partition，ProducerRecord的构造方法可以有四个参数，分别是topic，int类型的partition值，key
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
07-07 2238
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
系统kafka不消费-topic问题
一个后知后觉人路。。
11-03 2804
系统kafka不消费-topic问题
Kafka常见错误及解决办法
yiweiyi329的博客
09-24 4万+
1、报错信息： org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518} 报错原因：当消费者消费offset大于或小于当前kafka集...
Kafka遇到无法消费的问题记录
yanminghaop的博客
08-31 2906
Kafka服务部署情况 节点 服务 master kafka slave1 kafka slave2 kafka slave3 kafka slave4 kafka 无法消费情况 可以生产但无法消费 尝试在kafka的shell中自产自消 生产者 ./kafka-console-producer.sh --broker-list ip:9092 --topic ymh 消费者 ./kafka-console-consumer.sh --bootstrap-serv
kafka踩坑:kafka内网地址nat后，consumer无法消费问题，及解决方案
仙道Bob的专栏
11-20 6388
一、项目背景 二、问题描述 三、解决方案 四、实施 五、总结
Kafka集群全面指南：安装与实战
6. 编写生产者和消费者应用，与Kafka集群交互。 使用Kafka时，需要注意配置适当的保留策略（retention policy），以管理磁盘空间并控制旧数据的过期。同时，合理设置消费者的offset管理，确保消息的正确消费。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值