The Secret

本文解析Kafka的多副本机制。

本文解析Kafka的架构。

本文会对KafkaConsumer展开解析。

本文主要解析ConsumerCoordinator这个模型对于消费者加入组、位移提交的底层原理。

本文解析ConsumerNetworkClient对于请求的简单处理。

本文解析Kafka消费者架构中的Fetcher模型。

本文分析Kafka消费者架构中的SubscriptionState模型。

本文介绍Kafka生产者的KafkaChannel模型。

本文介绍Kafka定义的Selector相关架构。

本文解析NetworkClient对于请求的进一步处理以及消息发送到Kafka Cluster之后的后置处理，比如对请求完成的处理、响应完成的处理、断开连接的以及新加入连接的处理、超时请求的处理，最后记录相关信息，执行对应的回调，完成或者重试批次的处理。

本文主要分析Sender线程负责将ProducerBatch列表构建ProducerRequest，然后用来构造ClientRequest，最后将其交给NetworkClient处理的过程。

本文介绍Spring for Kafka框架对于发送消息的一些使用。

本文介绍Kafka的生产者架构之RecordAccumulator。

本文分析@EableKafka注解的内部处理逻辑，并且分别分析了KafkaListenerAnnotationBeanPostProcessor、KafkaListenerEndpointRegistry的作用。

前言2.1.3之前的版本，可以在ConsumerAwareMessageListener中暂停一个消费者，通过监听ListenerContainerIdleEvent来恢复该消费者。这种方式存在安全问题，不能保证事件监听器由消费者线程调用。为了安全的暂停、恢复消费者，应当使用监听器容器的pause()、resume()方法。正言2.1.3版本，对于监听器容器增加了pause()、resume()方法。pause()方法在下一次poll()之前生效，而resume()方法在当前的poll()之后生效。当

本文分析Kafka的生产者发送消息的第一部分。主要是经过拦截器拦截处理，然后更新并获取集群元数据，接着经由序列化器、分区器处理，最后将消息追加到RecordAccumulator。

Configuring Topics如果在上下文中定义了KafkaAdmin，它就可以自动添加topic到broker中。为了实现这个，可以添加NewTopic到上下文中。从2.3版本开始，引入了TopicBuilder，使得创建bean更加便捷。@Beanpublic KafkaAdmin admin() { Map<String, Object> configs =...

Listener Error Handler监听器级别的error handlerKafkaListenerErrorHandler@FunctionalInterfacepublic interface KafkaListenerErrorHandler { Object handleError(Message<?> message, ListenerExecutio...

如果请求的内存大于BufferPool中总共可用的内存，就需要额外增加内存，通过Deque的方法传入内存。free list的内存= free.size() * poolableSize， free list 的内存+ nonPooledAvailableMemory = 总共可用的内存。先来看下它的属性：static final String WAIT_TIME_SENSOR_...

broker端配置：unclean.leader.election.enable=falsereplication.factor&gt;=3min.insync.replicas&gt;1其中 replication.factor　和　min.insync.replicas 要根据实际需要更改为确切的值。推荐：replication.factory = min.insync....

Kafka 服务端demo 与 消费端demo