kafka中的基本概念以及大体框架图

在kafka中，具有以下概念：

1、producer：负责往kafka中生产数据，具体生产到哪一个partition中去，是由partition自己决定的

2、consumer：负责消费消息，每个consumer具有自己的消费者组，组与组之间可以消费同一个topic下的数据，但是同一个组内的不同consumer不能消费同一个topic下的数据。

3、broker：组成kafka集群的节点，broker之间没有主从关系，broker之间由zookeeper来协调。broker负责消费的读写，存储，每个broker可以管理多个partition

4、topic：一类消息的总称，topic由partition组成，有多少个，创建的时候可以指定。

5、partition：实际存储数据的地方，每个partition有副本，有多少，创建的时候可以指定。partition是直接接触磁盘的，append追加消息，每个partition都有一个broker来管理，这个broker叫做这个partition的leader，一个partition同时可以对一个组内的一个消费者提供消费。

5、zookeeper：协同数据，存储元数据，broker，partition，topic，consumer的offset等。