kafka学习（待继续学习）

一：概念

  1.kafka中partition和broker中分配的关系为：

   a）将所有 N 个 Broker 和待分配的 M 个Partition排序;

   b）将第 i 个 Partition 分配到第 (i mod N) 个Broker上，这个Broker为leader;

   c）将第 i 个 Partition 的第 j 个副本分配到第 ((i + j) mod N) 个Broker上.

  2.若是partition的leader主节点挂掉之后，会重新选举新的节点

  3.Connector API允许构建和运行可重用的生产者或消费者，能够把 Kafka主题连接到现有的应用程序或数据系统。例如，一个连接到关系数据库的连接器(connector)可能会获取每个表的变化。

  4.每个分区都会有一个服务器当做leader，其他作为follower，他们应该使用zookeeper作为可靠性的保证。

     leader处理所有的读取和写入分区的请求，而followers被动的从领导者拷贝数据。如果leader失败了，followers之一将自动成为新的领导者。每个服务器可能充当一些分区的leader和其他分区的follower，这样的负载就会在集群内很好的均衡分配。