大数据学习9之分布式事件流平台Kafka——Kafka概述，架构和核心概念

概述

Kafka 是一个分布式流式平台，它有三个关键能力

1. 订阅发布流事件，包括持续从其他系统导入导出数据
2. 以容错的方式存储事件流
3. 实时流处理

架构

Kafka 作为消息系统，它有三个基本组件内容转自睡魔的谎言

Producer : 发布消息的客户端
Broker：存储消息的客户端
Consumer : 消费者从 Broker 中读取消息
其中，

1. Kafka 运行在一个或多个数据中心的服务器上作为集群运行
2. Kafka 集群存储消息记录的目录被称为 topics
3. 每一条消息记录包含三个要素：键（key）、值（value）、时间戳（Timestamp）
4. Kafka中的主题始终是多生产者和多订阅者：一个主题可以有零个，一个或多个向其写入事件的生产者，以及零个，一个或多个订阅这些事件的使用者。