快速搞懂kafka是什么？

Kafka是什么？

Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 

Kafka是一个分布式的数据流式传输平台。

在流式计算中，Kafka一般用来缓存数据，Spark通过消费Kafka的数据进行计算。

1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。

2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

3）Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。

4）无论是kafka集群，还是consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性。

 

Kafka特点

作为一个数据流式传输平台，kafka有以下三大特点：

1. 类似于消息队列和商业的消息系统，kafka提供对流式数据的发布和订阅
2. kafka提供一种持久的容错的方式存储流式数据
3. kafka拥有良好的性能，可以及时地处理流式数据

基于以上三种特点，kafka在以下两种应用之间流行：

①需要在多个应用和系统间提供高可靠的实时数据通道

②一些需要实时传输数据及及时计算的应用

此外，kafka还有以下特点：

1. Kafka主要集群方式运行在一个或多个可跨多个数据中心的服务器上
2. Kafka集群将数据按照类别记录存储，这种类别在kafka中称为主题
3. 每条记录由一个键，一个值和一个时间戳组成