Kafka学习笔记

Kafka重要组件
1. broker
2. topic
3. partition
4. producer
5. consumer

broker:
中间的kafka cluster 存储消息 是于多个server组成的集群服务器节点又 被称为borker，borker存储topic的数据 例子：

 1（如果 topic有n 个partition ,集群有n 个borker 那么每个borker里面存储该topic中的一个partition）
 
 2（如果 topic有n 个partition ,集群有(n +y)个borker 那么其中n个borker里面存储该topic中的一个partition而剩下的y个borker不存储topic中的partition）
 
 3（如果 topic有n 个partition ,集群中borker的数量少于n个 那么每个borker里面存储该topic中的一个partition或者多个partition ）

但是例3 这种在实际生产环境中，尽量避免这种情况发生，这种情况容易导致kafka集群数据不均衡。

topic:
每条发布到Kafka集群的消息都是一个类别，这个类别被称为Topic

   （在物理上不同的topic消息是分开存储的 ，逻辑上用户只需指定消息的topic即可生产或者消费数据而不必关系数据存于何处。）类似于数据库的表名

partion:

   topic中的数据分割为一个或多个partiton，每个topic至少有一个partition,每个partition中的数据使用多个se