Kafka简介

Apache Kafka是Apache软件基金会的开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。该平台提供了消息的订阅与发布的消息队列

-消息队列Message Queue

消息队列是一种在分布式和大数据开发中的不可或缺的中间件，在分布式或者大数据开发中通常使用消息队列进行缓存、系统间解耦和削峰填谷等业务场景，常见的消息队列工作模式大致会分为两大类：
1.至多一次：消息生产者将数据写入消息系统，然后由消费者去拉取消息服务器中的消息，一旦消息被确认消费之后，**由消息服务器主动删除队列中的数据，**这种消费方式一般只允许被一个消费者消费，并且消息队列中的数据不会被重复消费

2.没有限制：同上述消费形式不同，生产者发布完数据之后，该消息可以被多个消费者同时消费，并且同一个消费者可以多次消费消息服务器中的同一个记录。主要是因为消息服务器一般可以长时间存储海量小。

-Kafka Streaming 流处理

相关俗语

Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker [5]
Topic
每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
Partition
Partition是物理上的概念，每个Topic包含一个或多个Partition.
Producer
负责发布消息到Kafka broker
Consumer
消息消费者，向Kafka broker读取消息的客户端。
Consumer Group
每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。

应用场景： 缓存、解耦、削峰填谷

概念： topic、分区（副本数）、offset、顺序写、zerocopy
生产者、消费者、消费组