消息队列之kafka

转载于：https://www.jianshu.com/p/2c4caed49343

Kafka 特点

Kafka 最早是由 LinkedIn 公司开发一种分布式的基于发布/订阅的消息系统，之后成为 Apache 的顶级项目。主要特点如下：

1. 同时为发布和订阅提供高吞吐量
   Kafka 的设计目标是以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对TB 级以上数据也能保证常数时间的访问性能。即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条消息的传输。

2. 消息持久化
   将消息持久化到磁盘，因此可用于批量消费，例如 ETL 以及实时应用程序。通过将数据持久化到硬盘以及 replication 防止数据丢失。

3. 分布式
   支持 Server 间的消息分区及分布式消费，同时保证每个 partition 内的消息顺序传输。这样易于向外扩展，所有的producer、broker 和 consumer 都会有多个，均为分布式的。无需停机即可扩展机器。

4. 消费消息采用 pull 模式
   消息被处理的状态是在 consumer 端维护，而不是由 server 端维护，broker 无状态，consumer 自己保存 offset。

5. 支持 online 和 offline 的场景。
   同时支持离线数据处理和实时数据处理。

Kafka 中的基本概念

1. Broker
   Kafka 集群中的一台或多台服务器统称为 Broker

2. Topic
   每条发布到 Kafka 的消息都有一个类别，这个类别被称为 Topic 。（物理上不同
   Topic 的消息分开存储。逻辑上一个 Topic 的消息虽然保存于一个或多个broker上，但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处）

3. Partition
   Topic 物理上的分组，一个 Topic 可以分为多个 Partition ，每个 Partition 是一个有序的队列。Partition 中的每条消息都会被分配一个有序的 id（offset）

4. Producer
   消息和数据的生产者，可以理解为往 Kafka 发消息的客户端

5. Consumer
   消息和数据的消费者，可以理解为从 Kafka 取消息的客户端

6. Consumer Group
   每个 Consumer 属于一个特定的 Consumer Group（可为每个 Consumer 指定Group Name，若不指定 Group Name 则属于默认的 Group）。
   这是 Kafka 用来实现一个 Topic 消息的广播（发给所有的 Consumer ）和单播（发给任意一个 Consumer ）的手段。一个 Topic 可以有多个 Consumer Group。Topic 的消息会复制（不是真的复制，是概念上的）到所有的 Consumer Group，但每个 Consumer Group 只会把消息发给该 Consumer Group 中的一个 Consumer。如果要实现广播，只要每个 Consumer 有一个独立的 Consumer Group 就可以了。如果要实现单播只要所有的 Consumer 在同一个 Consumer Group 。用 Consumer Group 还可以将 Consumer 进行自由的分组而不需要多次发送消息到不同的 Topic 。

作者：预流
链接：https://www.jianshu.com/p/2c4caed49343
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。