1 Kafka概述
1.1 介绍
Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。1.2 名词解释
- Topics:一类消息,例如page view日志、click日志等都可以以topic的形式存在,Kafka集群能够同时负责多个topic的分发。
- Producers:We'll call processes that publish messages to a Kafka topic producers。
- Consumers:We'll call processes that subscribe to topics and process the feed of published messages consumers。
- Broker:消息中间件处理结点,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。
- Partition:topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。
- Segment:partition物理上由多个segment组成。
1.3 组件原理
1.4 组件架构
1.5 组件特点
1.6 应用场景
Kafka能够作为一种处理各种实时数据流的统一平台,我们为此设想了广泛的使用场景。
- 它必须能够支持高吞吐特性,以支持那些高容量的事件流,例如一个实时的日志收集场景;
- 它必须能够轻松得处理大量积压的数据,以支持那些定时从离线系统中加载大量数据的场景;
- 这同时也意味着它必须能够低延时地进行消息分发,以支持那些传统方式上的消息服务使用场景;
1.7 参考文档
- 《Kafka官方文档》