Kafka

基础

1. Kafka是分布式发布-订阅消息系统,它最初由 LinkedIn 公司开发，使用 Scala语言编写,之后成为 Apache 项目的一部分。在Kafka集群中，没有“中心主节点”的概念，集群中所有的服务器都是对等的，因此，可以在不做任何配置的更改的情况下实现服务器的的添加与删除，同样的消息的生产者和消费者也能够做到随意重启和机器的上下线。
2. 存在集中类型的术语
   1. 生产者 即：Producer，是消息的产生的源头，负责生成消息并发送到Kafka服务器上。
   2. 消息消费者：即：Consumer，是消息的使用方，负责消费Kafka服务器上的消息。
   3. 主题：即：Topic，由用户定义并配置在Kafka服务器，用于建立生产者和消费者之间的订阅关系：生产者发送消息到指定的Topic下，消费者这个Topic下消费消息。同时，根据集群的数量，可以为主题设置副本，用来支撑高可用操作
   4. 消息分区：
      1. 即：Partition，每个主题下可以自定义多个分区，每个分区读写互不影响，用来支撑高并发操作，可以并发处理；
      2. 例如：“kafka-test”这个Topic下可以分为6个分区，分别由两台服务器提供，那么通常可以配置为让每台服务器提供3个分区，假如服务器ID分别为0、1，则所有的分区为0-0、0-1、0-2和1-0、1-1、1-2。
      3. 分区同时也是Topic物理上的分组，一个 topic可以分为多个 partition，
      4. 每个 partition 是一个有序的队列。partition中的每条消息都会被分配一个有序的 id（offset）
   5. Broker（代理，经纪人）：即Kafka的服务器，用户存储消息，Kafa集群中的一台或多台服务器统称为 broker。
   6. 消费者分组：
      1. Group，用于归组同类消费者
      2. 消息可以被不同组的多个消费者所消费，但对于同一组中的消费者，只能被一个消费者所消费
   7. Offset：消息存储在Kafka的Broker上，消费者拉取消息数据的过程中需要知道消息在文件中的偏移量，这个偏移量就是所谓的Offset。
3. Message在Broker中通Log追加的方式进行持久化存储。并进行分区（patitions)。
4. 为了减少磁盘写入的次数,broker会将消息暂时buffer起来,当消息的个数(或尺寸)达到一定阀值时,再flush到磁盘,这样减少了磁盘IO调用的次数。
5. 一个分区中的消息只能被消费者组中一个消费者所消费，但消费者可以消费多个分区
6. 消费者组相互独立，即一个分区可以对应多个消费者组