大数据框架技术相关——Kafka定义与基础概念

1.1 定义

Kafka 传 统定义： Kafka 是一个 分布式 的基于 发布 / 订阅模式 的 消息队列 （ Message

Queue ），主要应用于大数据实时处理领域。

Kafka 最 新定义 ： Kafka 是 一个开源的 分 布式事件流平台 （ Event Streaming

Platform ），被数千家公司用于高性能 数据管道 、 流分析 、 数据集成 和 关键任务应用 。

发布 / 订阅 ：消息的发布者不会将消息直接发送给特定的订阅者，而是 将发布的消息

分为不同的类别 ，订阅者 只接收感兴趣的消息 。

1.2  传统消息队列的应用场景

传统的消息队列的主要应用场景包括： 缓存 / 消峰 、 解耦 和 异步通信。

1.3 Kafka基础框架

        

1.   Producer ： 消息生产者，就是向 Kafka broker 发消息的客户端。

2. Consumer ： 消息消费者，向 Kafka broker 取消息的客户端。

3.  Consumer Group （ CG ）： 消费者组，由多个 consumer 组成。

PS：个人理解
=表示可以有
一台Kafka服务器就是一个broker  一个集群由多个broker组成
Kafka=broker  集群=多个broker  broker=多个topic   topic 是一个队列
一个大的topic 可以在多个broker   topic=多个partition  每个partition 也是一个队列