Kafka学习(二)：Kafka的基本结构和概念

一.Kafka中的核心概念

• Producer: 特指消息的生产者

• Consumer :特指消息的消费者

• Consumer Group :消费者组，可以并行消费Topic中partition的消息

• Broker：缓存代理，Kafa 集群中的一台或多台服务器统称为 broker。

• Topic：特指 Kafka 处理的消息源（feeds of messages）的不同分类。

• Partition：Topic 物理上的分组，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。partition 中的每条消息都会被分配一个有序的 id（offset）

• Message：消息，是通信的基本单位，每个 producer 可以向一个 topic（主题）发布一些消息

• Producers(是个动词)：消息和数据生产者，向 Kafka 的一个 topic 发布消息的过程叫做 producers

• Consumers(是个动词)：消息和数据消费者，订阅 topics 并处理其发布的消息的过程叫做 consumers

二.Kafka的逻辑架构

 

注：

       当一个Topic中消息过多时，会对Topic进行分区处理，把消息分到不同的Partition中。

   为什么要分区：

       是为了对大量的数据进行分而治之，把数据分区，不同的Consumer可以消费不同分区的数据，不同Consumer对数据的消费可以做成并行的，这样可以加快数据处理的速度。

消息发送的流程：

1. Producer根据指定的partition方法（round-robin、hash等），将消息发布到指定topic的partition里面
2. kafka集群接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费。
3. Consumer从kafka集群pull数据，并控制获取消息的offset

三.Kafka的Producers

1.producers定义：

  消息和数据生产者，向 Kafka 的一个 topic 发布消息的过程叫做 produces

2.可指定消息的partition：

   Producer将消息发布到指定的Topic中,同时Producer也能决定将此消息归属于哪个partition（即：生产者可以指定将发送的消息放在一个topic中的partition1，还是partition2中）（注：这种机制可以理解为一种变相的负载均衡，轮转）;比如基于"round-robin"方式或者通过其他的一些算法等（）

3.异步发送：
      kafka支持异步批量发送消息。批量发送可以很有效的提高发送效率。Kafka producer的异步发送模式允许进行批量发送，先将消息缓存在内存中，然后一次请求批量发送出去。

四.Kafka的broker

1.Broker：(可以把Broker理解为Kafka的服务器)缓存代理，Kafka 集群中的一台或多台服务器统称为 broker。

 注：

       kafka中支持消息持久化的，生产者生产消息后，kafka不会直接把消息传递给消费者，而是先要在broker中进行存储，持久化是保存在kafka的日志文件中。

2.Message在Broker中通Log追加（即新的消息保存在文件的最后面，是有序的）的方式进行持久化存储。并进行分区（patitions)

3.为了减少磁盘写入的次数,broker会将消息暂时buffer起来,当消息的个数(或尺寸)达到一定阀值时,再flush到磁盘,这样减少了磁盘IO调用的次数。

五.Kafka的broker无状态机制

1.  Broker没有副本机制，一旦broker宕机，该broker的消息将都不可用。

注：Broker没有副本，那broker宕机了怎么解决？

     虽然broker没有副本，但是消息本身是有副本的，不会丢失。Broker只要在宕机后再读取消息的日志就行了

2.  Broker不保存订阅者的状态，由订阅者自己保存。

3.  无状态导致消息的删除成为难题（可能删除的消息正在被订阅），kafka采用基于时间的SLA(服务水平保证)，消息保存一定时间（通常为7天）后会被删除。

4.  消息订阅者可以rewind back到任意位置重新进行消费，当订阅者故障时，可以选择最小的offset(id，即偏移量)进行重新读取消费消息。

注：1.消费者是如何确定，那条消息应该消费，那条消息已经消费了？

     Zookeeper会帮助记录那条消息已经消费了，那条消息没有消费

      2.消费者是如何快速的找到它没有消费的消息呢？

      这个实现就要靠kafka中 “稀疏索引”

       

六.Kafka的Message的组成

1.Message消息：

是通信的基本单位，每个 producer 可以向一个 topic（主题）发布一些消息

2.Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。

3.partition中的每条Message包含了以下三个属性：
   offset（偏移量，即消息的唯一标示，通过它才能找到唯一的一条消息）  

   对应类型：long
   MessageSize 对应类型：int32
   data        是message的具体内容

注：1.消息是无状态的，消息的消费先后顺序是没有关系的

       2.每一个partition只能由一个consumer来进行消费，但是一个consumer是可            以消费多个partition，是一对多的关系

七.Kafka的Partition的分区的目的

1.kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;

2.可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.

3.越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.

八.Kafka的Consumers