一篇读懂分布式消息系统Kafka

一、Kafka定义

1.什么是Kafka？

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统（用于数据输入/输出），并提供了一个Java流式处理库Kafka Streams。——摘自维基百科

2.发展历史

Kafka起初是由 LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于 ZooKeeper 的分布式消息系统，后来捐献给 Apache 基金会。 目前Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成。

3.基本概念

服务器节点(Broker)：每一个Kafka程序实例即为一个Broker。一般可以将一台服务器看作Broker，前提此服务器只部署了一个Kafka实例。
　　主题(Topic)：Kafka中消息以主题为单位进行归类，生产者将消息发送到特定主题，消费者从特定主题进行消费。
　　分区(Partition)：一个Topic可以分为若干个分区，一个分区只属于单个主题，分区均匀分布在集群中。分区是Kafka高吞吐，容灾，负载均衡的保证。
　　生产者(Producer): 消息发送方，负责创建消息，将消息投递到Broker中。
　　消费者(Consumer)&#