分布式消息队列Kafka

分布式消息队列Kafka

Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。

kafka是最初由linkedin公司开发的，使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等

Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于的特性，但是在实现上完全不同，此外它并不是规范的实现。对消息保存时根据进行归类，发送消息者成为消息接受者成为此外集群有多个实例组成，每个实例成为。无论是集群，还是和都依赖于来保证系统可用性集群保存一些信息

架构

组成架构

1. Producer：消息生产者，就是向 kafka broker 发消息的客户端；

2)Consumer：消息消费者，向 kafka broker 取消息的客户端；

3. Consumer Group（CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内一个消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

4. Broker：一台 kafka 服务器就是一个 broker。一个集群