kafka容灾机制

Kafka的消息安全性与容灾机制主要是通过副本replication的设置和leader／follower的的机制实现的。

• Replication机制
• broker 容灾机制
  
• Leader Election机制
  
• controller failover
  

Replication机制

Kafka从0.8开始提供partition级别的replication，replication的数量可在$KAFKA_HOME/config/server.properties中配置。

  
  
  

   
default.replication.factor = 1
  

　　该 Replication与leader election配合提供了自动的failover机制。replication对Kafka的吞吐率是有一定影响的，但极大的增强了可用性。默认情况下，Kafka的replication数量为1。每个partition都有一个唯一的leader，所有的读写操作都在leader上完成，leader批量从leader上pull数据。一般情况下partition的数量大于等于broker的数量，并且所有partition的leader均匀分布在broker上。follower上的日志和其leader上的完全一样。

　　和大部分分布式系统一样，Kakfa处理失败需要明确定义一个broker是否alive。对于Kafka而言，Kafka存活包含两个条件：

• • 一是它必须维护与Zookeeper的session(这个通过Zookeeper的heartbeat机制来实现)
  • 二是follower必须能够及时将leader的writing复制过来，不能“落后太多”

　　leader会track “in sync”的node list（ISR）。如果一个follower宕机，或者落后太多，leader将把它从”in sync” list中移除。这里所描述的“落后太多”指follower复制的消息落后于leader后的条数超过预定值，该在$KAFKA_HOME/config/server.properties中配置

  
  
  

   
#If a replica falls more than this many messages behind the leader, the leader will remove the follower from ISR and treat it as dead