kafka工作原理介绍

两张图读懂kafka应用：

Kafka 中的术语

•  broker：中间的kafka cluster，存储消息，是由多个server组成的集群。
•  topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。
•  producer：往broker中某个topic里面生产数据。
•  consumer：从broker中某个topic获取数据。

Kafka 中的术语设计：

1、Broker

      中间的kafka cluster，存储消息，是由多个server组成的集群。

2、topic与消息

kafka将所有消息组织成多个topic的形式存储，而每个topic又可以拆分成多个partition，每个partition又由一个一个消息组成。每个消息都被标识了一个递增序列号代表其进来的先后顺序，并按顺序存储在partition中。

这样，消息就以一个个id的方式，组织起来。

•  producer选择一个topic，生产消息，消息会通过分配策略append到某个partition末尾。
•  consumer选择一个topic，通过id指定从哪个位置开始消费消息。消费完成之后保留id，下次可以从这个位置开始继续消费，也可以从其他任意位置开始消费。

上面的id在kafka中称为offset，这种组织和处理策略提供了如下好处：

•  消费者可以根据需求，灵活指定offset消费。
•  保证了消息不变性，为并发消费提供了线程安全的保证。每个consumer都保留自己的offset，互相之间不干扰，不存在线程安全问题。
•  消息访问的并行高效性。每个topic中的消息被组织成多个partition，partition均匀分配到集群server中。生产、消费消息的时候，会被路由到指定partition，减少竞争，增加了程序的并行能力。
•  增加消息系统的可伸缩性。每个topic中保留的消息可能非常庞大，通过partition将消息切分成多个子消息，并通过负责均衡策略将partition分配到不同server。这样当机器负载满的时候，通过扩容可以将消息重新均匀分配。
•  保证消息可靠性