解决同步Kafka集群，消费不到数据

最新推荐文章于 2024-04-07 09:59:59 发布
最新推荐文章于 2024-04-07 09:59:59 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： Kafka Spark 文章标签： kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RONE321/article/details/103992142
版权
Spark 同时被 2 个专栏收录
18 篇文章 0 订阅
订阅专栏
Kafka
5 篇文章 0 订阅
订阅专栏

今天使用华为云(Dest）同步金山云(Source)Kafka数据时，华为云一点点响应都没。我登录控制台尝试直接启动Consumer去消费，结果也是一样消费不到数据！
接着就是确认网络通不通的问题了！

  • ping 一下 ok 通的
  • telnet 一下 ok 可以进入9092端口的

那么到底哪里出了问题了呢？
左思右想不得琦姐。
出去走了一圈突然想到了，以前在自己搭建的大数据环境上也遇到过这种问题，指定IP消费不到数据，必须指定域名。这才恍然大悟，赶紧给金山云要来他们Kafka集群的hosts文件,在我们华为云的hosts文件上添加映射金山云Kafka的域名。

然后完美解决问题。
至于问题在哪儿 ，我想是zookeeper，指定的是host所以必须使用host
加粗样式
怎说也得上个图吧在这里插入图片描述

Rone-X
关注
专栏目录
大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库
zhengzaifeidelushang的博客
08-13 423
大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库
Debezium系列之：debezium同步sqlserver数据库数据到kafka集群
zhengzaifeidelushang的博客
10-13 701
Debezium系列之：debezium同步sqlserver数据库数据到kafka集群
Kafka消费不到数据
wildding的博客
05-16 3785
方法1：登录bin/zkCli.sh 然后删除kafka中/brokers/topics/__consumer_offsets 节点。看logdir的目录，换个目录或者删除目录中的数据，本机是 rm -rf datas/* (方法2：停止zookeeper： zk.sh stop 查看conf/zoo.cfg的。：zookeeper报错日志可以在 logs里xxxx.out中查看)：kafka报错日志可以在 logs里 server.log查看)1.首先停止kafka： kafka.sh stop。
mysql分区
lion的博客
10-24 277
一、查看mysql是否支持分区 MySQL5.1开始支持分区 1.MySQL5.6以及之前版本 show variables like '%partition%'; YES 则支持分区 2.MySQL5.7以后 show plugins; 如下则支持分区 二、分区详解 1.分区表分类： RANGE分区、LIST分区、HASH分区、KEY分区、复合分区 2.分区表限制： 分区键必须包含在表的所有主键、唯一键中。 MYSQL只能在使用分区函数的列本身进行比较时才能过滤分区，而不能根据表达式的值去过滤
kafka消费不到消息原因
蘑菇丁的专栏
05-16 2万+
今天安装chd6.1安装完里面把组件kafka集成到集群里,集群内仅配置一个broker，但是kafka里的offsets.topic.replication.factor=3 由于一台机器--replication-factor 超过1会报错，在创建topic时我只能赋值 --replication-factor=1 如下 kafka-topics --zookeeper...
虚拟机启动kafka后主机无法消费的问题
Jasonhada的博客
02-19 1642
Python消费虚拟机上的kafka消息
Linux消费kafka话题数据,logstash 消费数据到kafka异常
weixin_35755640的博客
05-12 598
报错 ：[logstash.outputs.kafka ] Sending batch to Kafka failed. Will retry after a delay. {:batch_size=>1, :failures=>1, :sleep=>0.1}原因： logstash 日志报错生产数据到 kafka 失败解决办法：查看kafka配置，默认单条消息最大为1M...
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
kafka集群生产消费
weixin_47270063的博客
10-27 1029
kafka入门 1.1 定义 ​ 卡夫卡是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 1.2 消息队列 定义：是一种应用之间的通信方式，消息发送后立即返回，有消息系统来确保信息的可靠传递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管是谁发布的，这样发布者和使用者都不用知道对方的存在。 同步处理：需要等待消息的处理完成，才可以接着执行下去。 异步处理：发送以后不必等待完成。 使用消息队列的好处： 解耦 允许你独立的扩展或修改两边的处理
kafka集群副本同步问题排查
battybaby的博客
01-05 2537
kafka失效副本是什么，具有哪些应对措施，在某节点故障情况下kafka集群副本状态监控情况，如何确认集群副本已恢复正常，故障期间会对下游消费有什么影响
Kafka消息数据积压，消费能力不足如何处理？
qq_35139965的博客
08-11 4076
可以从两方面考虑： 1、如果是Kafka消费能力不足，则可以考虑增加Topic的分区数（一般一个Topic分区数为3-10个），并且同时提升消费组的消费者数量，消费者数==分区数。两者缺一不可 2、如果是下游的数据处理不及时：则提高每批次拉取的数量。批次拉取数据过少（拉取数据/处理时间<生产速度），使处理的数据小于生产的数据，也会造成数据积压。 ...
【kafka消息查询】kafka消费不到数据，写入端伙伴说他写入了，而且没有报错，如何来切割是写入的问题还是消费的问题
weixin_40293999的博客
08-07 661
kafka消费不到消息，如何查询界定是生产端的问题还是消费端的问题，特别是场景上下文已经丢失了的时候。kafka参考文档。
kafka 指定partition两种方式&Consumer不消费消息的几个原因
Nougats的博客
05-11 2万+
需求1.随机生成IP数字，将奇数、偶数数据分在不同的Partition 2.通过KafkaAPI实现一个消费组中多消费者，为了是验证同组的不同消费者是否一一对应不同的Patition 3.打包部署在Linux中运行解决办法方法1： 在producer发送消息时指定partition，ProducerRecord的构造方法可以有四个参数，分别是topic，int类型的partition值，key
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
07-07 2247
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
系统kafka不消费-topic问题
一个后知后觉人路。。
11-03 2807
系统kafka不消费-topic问题
Kafka常见错误及解决办法
yiweiyi329的博客
09-24 4万+
1、报错信息： org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518} 报错原因：当消费者消费offset大于或小于当前kafka集...
发送kafka生产者数据，结果消费者接收不到数据 producer.flush()
最新发布
托塔天王的博客
04-07 937
生产者的缓冲区是指生产者在发送消息到Kafka集群时暂时存储消息的内存区域。当生产者发送消息时，消息通常首先被写入这个缓冲区，然后在适当的时机被批量发送到Kafka服务器。: 如果消费者组的消费速度较慢，即消费者处理消息的速度低于生产者发送消息的速度，那么消息会在Kafka中的主题分区中积压，直到消费者能够处理它们。: 消息从生产者发送到Kafka服务器，以及从Kafka服务器发送到消费者，都会受到网络延迟的影响。（消息压缩类型）等，这些配置参数会影响消息在缓冲区中停留的时间以及发送的时间间隔。
kafka接受不到数据
ztx22555的博客
08-17 4618
kafka接受不到数据
kafka报Commit cannot be completed since the group has already rebalanced and assigned the partitions
russle的专栏
10-13 1万+
问题描述： 新版本的kafka消息处理程序中，当消息量特别大时不断出现如下错误，并且多个相同groupId的消费者重复消费消息。 2018-10-12 19:49:34,903 WARN [DESKTOP-8S2E5H7 id2-1-C-1] Caller+0 at org.apache.kafka.clients.consumer.internals.ConsumerCoordinator$...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值