weixin_42575542的博客

Kafka设计原理副本与ISR设计水印和leader epochcontroller的职责副本与ISR设计一个kafak分区本质上就是一个备份日志，即利用多份相同的备份共同提供冗余机制来保持系统的高可用性，这些备份在kafka中被称为副本。kafka把所有分区的副本均匀地分配到broker上，并能从这些副本中挑选一个副本作为一个leader副本对外提供服务，而其他的副本被称为follower副本，只能被动地向leader副本请求数据，从而保持与leader副本的同步。假如leader副本永远都能正常的

Kafka之Consumer消费者Consumer概述消费者消费者组位移（offset）位移提交消费者重组SpringBoot集成Kafka导入依赖参数自定义配置消费消息消息测试Consumer相关消息轮询位移管理consumer位移管理自动提交和手动提交Consumer概述消费者consumer是读取kafka集群某些topic消息的应用程序。消费者组消费者用一个消费者组名来标记自己，topic的每条消息都只会被发送到每个订阅它的消费者组的一个消费者实例上。我们知道kafka同时支持基于队列和

Kafka之Producer生产者Producer工作流程SpringBoot集成Kafka导入依赖参数自定义配置发送消息测试Producer相关自定义配置消息分区机制Producer拦截器无消息丢失配置producer端配置broker端配置消息压缩Producer工作流程producer首先使用一个线程，将待发送的消息封装进一个ProducerRecord类实例，然后将其序列化给分区器，再由后者确定了目标分区后一同发送到位于producer程序的一块内存缓冲区。而producer的另一个工作线程则负

Zookeeper、Kafka单机集群搭建Zookeeper单机集群搭建（windows）集群配置复制zookeeperzoo.cfg 配置启动服务Kafka单机集群搭建（windows）复制kafkaserver.properties配置启动服务kafka集群验证创建topic下载Zookeeper数据查看工具ZooInspector使用ZooInspectorZookeeper单机集群搭建（windows）集群配置我们使用3台Zookeeper服务器来构建集群， 在zookeeper的zoo.co

Kafka基本概念与术语&使用场景使用场景消息topic和partitionoffsetreplicaleader和followerISR使用场景消息传输网站行为日志追踪日志收集Event Sourcing流式处理使用场景消息消息的组成部分：Key：消息键，对消息做partition处理，即决定消息被保存在某topic下的哪个partition。Value：消息体，保存实际的消息数据。Timestamp：消息发送时间戳，用于流式处理以及其他依赖时间的处理语义，如果不指定则取当前时间。

Kafka概要设计吞吐量/延时消息持久化负载均衡和故障转移伸缩性吞吐量/延时对于任何一个消息引擎而言，吞吐量都是至关重要的性能指标。何为吞吐量？***吞吐量是某种处理能力的最大值。***，对于kafka而言，它的吞吐量就是每秒能处理的消息数或者每秒能处理的字节数。很显然，我们希望消息引擎的吞吐量越大越好。消息引擎还有一个名为延时的性能指标。他衡量的是一段时间间隔，可能是发出某个操作与接受操作响应之间的时间。或者是系统中导致某些物理变更的起始时刻与变更正式生效时刻之间的间隔。对于Kafka而言，延时可以

[KafkaServer id=0] started