Chad_it的博客

自动提交会丢消息： 因为如果消费者还没消费完poll下来的消息就自动提交了偏移量，那么此 时消费者挂了，于是下一个消费者会从已提交的offset的下一个位置开始消费消息。可以根据消费速度的快慢来设置，因为如果两次poll的时间如果超出了30s的时间间隔，kafka会认为其消费能力过弱，将其踢出消费组。kafka如果超过 10 秒没有收到消费者的心跳，则会把消费者踢出消费组，进行rebalance，把分区分配给其他消费者。消费者建立了与broker之间的⻓连接，开始poll消息。设置自动提交参数 - 默认。

Kafka只在partition的范围内保证消息消费的局部顺序性，不能在同一个topic中的多个partition中保证总的消费顺序性。可以提供callback，让broker异步的调用callback，告知生产者，消息发送的结果。在集群中，不同的副本会被部署在不同的broker上。消费组中消费者的数量不能比一个topic中的partition数量多，否则多出来的消费者消费不到消息。isr： 可以同步的broker节点和已同步的broker节点，存放在isr集合中。每个文件中的这些内容要调整。

时候，key是consumerGroupId+topic+分区号，value就是当前offset的值，kafka会定期清理topic里的消息，最后就保留最新的那条数据 因为__consumer_offsets可能会接收高并发的请求，kafka默认给其分配。消息的发送方会把消息发送到broker中，broker会存储消息，消息是按照发送的顺序进行存储。单播消息：一个消费组里 只会有一个消费者能消费到某一个topic中的消息。[> 一个主题中的消息量是非常大的，因此可以通过分区的设置，来分布式存储这些消息。

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编 写，Linkedin于 2010年贡献给了Apache基金会并成为顶级开源 项目。

Message Queue（MQ），消息队列中间件。很多人都说：MQ通过将消息的发送和接收分离来实现应用程序的异步和解偶，这个给人的直觉是——MQ 是异步的，用来解耦的，但是这个只是 MQ的效果而不是目的。MQ真正的目的是为了通讯，屏蔽底层复杂的通讯协议，定义了一套应用层的、更加简单的通讯协议。一个分布式系统中两个模块之间通讯要么是HTTP，要么是自己开发的（rpc）TCP，但是这两种协议其实都是原始的协议。HTTP 协议很难实现两端通讯——模块 A 可以调用 B，B 也可以主动调用。

kafka数据到底会不会丢失？为什么会丢失，怎么避免

kafka原来是这样丢的数据,ISR 列表