浅谈大数据里的Kafka（1）基本架构

**    Kafka是一个分布式的的基于发送/订阅模式的消息队列，可以应用于大数据的实时处理领域**

   我们都知道消息队列一般都有两种模式，为点对点模式（一对一）和发布/订阅模式（一对多）。
   对于先对点模式，它是消息消费者在消费队列里面的消息之后，被消费的消息就会被删除，也就是一个消息只能被一个消费者消费使用，可以理解为一对一。
   如下图：

   而发布/订阅模式在消息被消费后，不会被删除，继续保存在队列里面，即一个消费可以供集群所有消费者消费，即理解为一对多。而Kafka消息队列则采用的是这种一对多的模式。

   Kafka基本架构

   从Kafka基本的工作架构图可以知道，Kafka在集群里是通过Zookeeper维护的（后续会更新zookeeper在kafka里的作用）。

   首先可以看出消息生产者讲生产的消息发往一个topic（可理解为一个队列）里，在集群中，可以通过讲topic进行分区（partition）来提高吞吐量和扩展性，而每一个分区都可以分配在对应的节点机器（broker）上（一个分区的leader和follower不能在同一节点）。针对分区数据的消费以消费者组的形式来进行消费，每个组内的消费者只能消费一个分区里的数据，比如一个组里有三个消费者，每个消费者对应消费者消费的partition对应为partition1、partition2、partition3。

   如上所述机制的可用性不高也不安全，所以以增加每个partition的副本数来提高可用性。就像Hdoop里的HA机制一样，每个副本都有leader和follower节点，在这里leader和follower副本不能再同一个节点上。一次类推，加入有n个partition，则最多一个partition有n-1个follower副本。

   在创建topic的时候，可以通过一些方式设置partition数和副本数。比如可以通过kafka的指令进行设置：
   KAFKA_HOME目录下：kafka-topics.sh --create --bootstrap-server 主机:9092 --topic first --partitions 分区数 --replication-factor 副本数

   创建后可通过执行查看topic的情况
   kafka-topics.sh --bootstrap-server 主机:9092 --describe --topic first

   从分布情况可以看到Partition情况和副本数以及Leader和Follower的所在节点Id