kafka rebalance 源码分析

目录

kafka hello world 

一. kafka 架构：

Partition存储结构

ACK前需要保证有多少个备份

二  kafka partition 分配原理探究

三 rebalance 过程

四：mafka 优化

PUSH SERVER

重试

两种

MafkaParallarWork

kafka hello world 

    kafka 安装 & 常用API  kafka安装  &  Kafka java api 0.10.1.1

一. kafka 架构：

Partition存储结构

 

 

 

ACK前需要保证有多少个备份

和大部分分布式系统一样，Kafka处理失败需要明确定义一个Broker是否“活着”。对于Kafka而言，Kafka存活包含两个条件，一是它必须维护与ZooKeeper的session（这个通过ZooKeeper的Heartbeat机制来实现）。二是Follower必须能够及时将Leader的消息复制过来，不能“落后太多”。

 

二  kafka partition 分配原理探究

kafka的官方文档提供了这样一段描述

In fact, the only metadata retained on a per-consumer basis is the offset or position of that consumer in the log. This offset is controlled by the consumer: normally a consumer will advance its offset linear