会哭的雨@的博客

Kafka 简介kafka 是一款已经发布了近10年的分布式消息队列系统，是一款非常成熟的产品，在各大公司或者产品中或多或少都有他的身影，特别是大数据流处理，log 流处理之类的场景，kafka 更是充当着几乎必不可少的角色。这款消息队列在官方给出的定义中被称为“分布式流式处理平台”，其主要目的是在大数据流处理中承担着存储记录流的一个作用，不过到了现在这个年代，越来越多的业务架构更倾向于将 kafka 当作消息队列来使用，用来取代比较厚重且性能有限的 RabbitMQ。kafka 这样一个系统为

Kafka中offsets.retention.minutes和log.retention.minutes之间的区别前言在Kafka中，我们可能会发现两个与retention相关的配置：log.retention.minutes offsets.retention.minutes那么它们之前的差别是什么呢？定义首先让我们看看它们在官方文档中的定义名称 描述 类型 默认值 有效值 重要性 log.retention.minutes The n

kafka 重启consumer 重复消费问题原文链接：https://blog.csdn.net/z1941563559/java/article/details/88753938问题描述：kafka的某些topic在消费完毕后一段时间，重启唯一消费者，offset会重置为最小offset重新消费，一直导致kafka消费的重复消费问题。问题产生原因：是offset信息过期导致的。我一直以为消费者保持在线，最新位移信息是不会过期的。但即使消费者在线，位移信息也会如约过期。配置的数据保留时间log.

一、KafkaOffsetMonitor简述KafkaOffsetMonitor是Kafka的一款客户端消费监控工具，用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，我们可以浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以一目了然。二、KafkaOffsetMonitor下载KafkaOffsetMonitor托管在Github上，可以通过Github下载。下载地址：https://github.com/quanti.

kafka Consumer参数设置1.session.timeout.ms <= coordinator检测失败的时间默认值是10s 该参数是 Consumer Group 主动检测 (组内成员comsummer)崩溃的时间间隔。若设置10min，那么Consumer Group的管理者（group coordinator）可能需要10分钟才能感受到。太漫长了是吧。2.max.poll.interval.ms <= 轮询间隔(处理逻辑最大时间)这个参数是0.10.1.0版本后新

kafka运维常用命令列出所有的topic./bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list查看 topic信息./bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic topicName./bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic __consumer_offse

1,kafka写入失败2.kafka报错内容：WARN [Consumer clientId=consumer-1, groupId=console-consumer-950] Connection to node -1 could not be established. Broker may not be available.这是因为你的配置文件中的PLAINTEXT跟你请求的内容不同。举例来说，我在配置文件里配置的listeners=PLAINTEXT://10.127.96..