一篇读懂分布式消息系统Kafka

一、Kafka定义

1.什么是Kafka？

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统（用于数据输入/输出），并提供了一个Java流式处理库Kafka Streams。——摘自维基百科

2.发展历史

Kafka起初是由 LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于 ZooKeeper 的分布式消息系统，后来捐献给 Apache 基金会。 目前Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成。

3.基本概念

服务器节点(Broker)：每一个Kafka程序实例即为一个Broker。一般可以将一台服务器看作Broker，前提此服务器只部署了一个Kafka实例。
　　主题(Topic)：Kafka中消息以主题为单位进行归类，生产者将消息发送到特定主题，消费者从特定主题进行消费。
　　分区(Partition)：一个Topic可以分为若干个分区，一个分区只属于单个主题，分区均匀分布在集群中。分区是Kafka高吞吐，容灾，负载均衡的保证。
　　生产者(Producer): 消息发送方，负责创建消息，将消息投递到Broker中。
　　消费者(Consumer)：消息接收方，连接到Broker并消费特定Topic中的消息，进行逻辑处理。

二、Kafka工作原理

1.Kafka架构

Kafka消息传递：生产者将消息发送到Kafka集群，Kafka集群将消息转给消费者

Kafka集群架构：

一组生产者：数据可以是Web前端产生的页面、服务器日志等 。

一组消费者：可以是Hadoop集群、实时监控程序、数据仓库或其他服务。

一组Broker

一个ZooKeeper集群（管理和协调Broker）：当Kafka新增Broker或某个Broker故障失效时，ZooKeeper将及时通知生产者和消费者 。

生产者使用Push模式将消息发送到Broker ，消费者使用Pull模式从Broker消费消息 。

2.主题和分区

Kafka通过主题对消息进行分类：一个主题可以分为多个分区，每个分区可以存储于不同的Broker上。
　　Kafka会为每个主题维护一个分区日志，记录每个分区消息存放情况：消息以追加的方式写入到每个分区的尾部；消息以先进先出的顺序进行读取；Kafka可以保证单个分区内消息的顺序，但无法在整个主题范围内保证消息的顺序。