apache kafka的consumer初始化时获取不到消息

最新推荐文章于 2021-03-15 20:12:23 发布
最新推荐文章于 2021-03-15 20:12:23 发布
阅读量9.6k 收藏 1
点赞数
分类专栏： apache kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lizhitao/article/details/25906957
版权

apache kafka中国社区QQ群:162272557

问题

发现一个问题，如果使用的是一个高级的kafka接口 那么默认的情况下如果某个topic没有变化 则consumer消费不到消息 比如某个消息生产了2w条，此时producer不再生产消息，然后另外一个consumer启动，此时拿不到消息.


原因解释：

auto.offset.reset：如果zookeeper没有offset值或offset值超出范围。那么就给个初始的offset。有smallest、largest、anything可选，分别表示给当前最小的offset、当前最大的offset、抛异常。默认largest

默认值:auto.offset.reset=largest


幽灵之使
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
java consumer.poll_kafka consumer不消费消息，consumer.poll(100)不返回数据
weixin_35705011的博客
02-23 1881
刚才刚到了这篇https://www.orchome.com/1619，但是我这边是打开的，配置如下：listeners=PLAINTEXT://172.16.0.93:9092消费前输出如下：[2019-07-25 14:47:34,604][org.apache.kafka.clients.consumer.ConsumerConfig:165] [INFO ] ConsumerConfig ...
kafka-console-consumer接收不到flume推送过来的消息
dengmanzhou3124的博客
08-04 648
原因和解决方法：需要先启动kafka，再启动flume，两者启动有先后顺序。 转载于:https://www.cnblogs.com/mediocreWorld/p/11297450.html
kafka消费者kafka-console-consumer接收不到数据
k393393的博客
06-20 2万+
发送端 接收端 问题 采用内置的zookeeper，发送端发送数据，接收端能够接收数据 但是采用外置的zookeeper，发送端发送数据，接收端一直接收不到数据 解决： 先判断主题是否一致，如果一致就在关闭kafka ./kafka-server-stop.sh ../config/server.properties 修改一下配置，确保这些配置已加上，不要用localhost，在listene...
提交fink任务到yarn 报 kafka producer 初始化错误
旺旺的博客
03-22 374
1.报错截图 当时没有截图 2.报错信息 org.apache.kafka.common.serialization.ByteArraySerializer的一个对象 这个类不是 org.apache.kafka.common.serialization.Serializer的实例。 3.解决错误 1） 错误原因 这个错误是由于因为要使用kafkaSink 所以要导入下面这个依...
kafka producer 初始化
m0_46449152的博客
03-15 593
1、设置分区器 2、设置序列化器 3、设置拦截器 4、创建集群Metadata，并定时更新 5、设置压缩格式 6、创建RecordAccumulator 7、创建NetworkClient 8、创建Sender线程并启动 producer = new KafkaProducer<>(props); -> //1、设置分区器 this.partitioner = config.getConfiguredInstance(ProducerConfig.PARTITIONER_CLASS_
测试生产者和消费者代码，发现消费者并没有输出数据，怎么办？（Kafka服务器允许客户端远程连接）
weixin_42369418的博客
11-25 965
前言： 安装好Kafka（服务端ip为192.168.137.128），window使用Java调用kafka-clients库来远程连接Kafka服务端，进行生产者和消费者测试，发现消息发不出去。但是如果把生产者和消费者利用topic来打开生产和消费，就可以测试成功。 原因分析： 排查是不是防火墙的问题，再windows下面打开 ...
rust-kafka-consumer-example
04-01
1. **配置初始化**：首先，我们需要创建一个配置对象，设置Kafka集群的地址、消费者组ID、以及其他相关参数。例如： ```rust use rdkafka::config::RDKafkaConfig; let config = RDKafkaConfig::new() .set(...
kafka-effective:更有效地使用apache kafka消费者和生产者
05-02
后来读了flume中有关与kafka集成的代码(org.apache.flume.source.kafka.KafkaSource)，觉得其中使用kafka Consumer的方式比较合理，可以实现消息的批处理，所以就参考并封装了一下，变得更加通用，形成了这个项目。...
kafka-consumer-strategies
03-30
如`fetch.min.bytes`和`fetch.max.bytes`控制每次从 broker 获取的数据量，`max.poll.records`设置单次poll操作返回的最大记录数，以及`auto.offset.reset`确定当无可用偏移量时如何初始化消费者位置。 总结来说，...
kafka 2.12安装包，kafka可视化展示工具 eagle 2.0.6
06-15
3. **初始化数据库**：运行`bin/eagle-initdb.sh`初始化Eagle的数据库表结构。 4. **启动Eagle**：执行`bin/eagle-start-all.sh`启动所有Eagle服务。 5. **访问Web界面**：打开浏览器，输入Eagle服务所在的服务器...
kafka生产及消费示例代码，下到就是赚到
03-05
1. **生产者代码**：这通常会展示如何初始化Kafka生产者，设置配置（如 brokers 地址、序列化方式等），以及如何调用`send()`方法将消息发送到特定主题。 2. **消费者代码**：这部分可能涵盖了消费者组的创建，配置...
kafka中kafkaConsumer的poll拉取方法
nanfeiliulanghan的博客
07-23 2万+
1.一开始以为poll()方法里传的是Kafka返回的记录条数， 但其实是传的时间（ms） 2.Kafka轮询一次就相当于拉取（poll）一定时间段broker中可消费的数据， 在这个指定时间段里拉取，时间到了就立刻返回数据。 3.例如poll（5000）： 即在5s中内拉去的数据返回到消费者端 原文：https://blog.csdn.net/weixin_41227335/ar...
Kafka Consumer 执行 poll 操作时获取空数据的原因分析
欢迎来到无尾君的小窝
03-05 1万+
1. 场景： 当用户需要获取数据时，后端从指定 topic 下消费1条数据；每次操作的间隔为 0～∞ 2. 现象： 每隔一段时间，在kafka消费数据时，会出现获取数据为空的情况 3. 问题排除路径： 由于 Topic 中的数据很多，不可能出现数据被取光的情况，首先怀疑是网络问题；在协调运维帮忙检查后发现，kafka运行正常，没有发现异常； 假设网络拥堵，导致 poll() 超时，那么就增大...
kafka进阶
weixin_30945039的博客
08-01 173
1. kafka整体结构图 Kafka名词解释和工作方式 Producer ：消息生产者，就是向kafka broker发消息的客户端。 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：咋们可以理解为一个队列。 Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一...
KafkaConsumer初始化遇到的问题
gwd777的专栏
02-07 1323
class org.apache.kafka.common.serialization.StringSerializer is not an instance of org.apache.kafka.common.
Kafka常见错误及解决办法
热门推荐
yiweiyi329的博客
09-24 4万+
1、报错信息： org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518} 报错原因：当消费者消费offset大于或小于当前kafka集...
kafka常见问题汇总
yjh314的专栏
08-23 1万+
1、kafka集群中常见错误的解决方法：kafka.common.KafkaException: Should not set log end offset on partition 问题描述：kafka单台机器做集群操作是没有问题的，如果分布多台机器并且partitions或者备份的个数大于1都会报kafka.common.KafkaException: Should not se
kafka 收不到消息_Kafka 常见问题汇总
weixin_39554434的博客
01-27 3142
Kafka 常见问题汇总1. Kafka 如何做到高吞吐、低延迟的呢？这里提下 Kafka 写数据的大致方式：先写操作系统的页缓存(Page Cache),然后由操作系统自行决定何时刷到磁盘。因此 Kafka 达到高吞吐、低延迟的原因主要有以下 4 点：页缓存是在内存中分配的，所以消息写入的速度很快。Kafka 不必和底层的文件系统进行交互，所有繁琐的 I/O 操作都由操作系统来处理。Kafka ...
Kafka概念-架构
qq_43590904的博客
10-01 388
Kafka概念-架构 目录 消息队列的好处 消息队列模式 什么是 Kafka Kafka整体架构及解析 消息队列的好处 解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所 以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。(注意消息重复消费) 缓冲 有助于控制和优化数据流经过系统的速度,解决生产者和消费者处理消息能力不一致的问题 灵活性 &

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值