Apache Kafka

参考官网文档 http://kafka.apache.org/intro

一.概要

Kafka是一个分布式流媒体平台

流媒体平台有三个关键功能：

1. 它可以让您发布和订阅记录流。在这方面，它类似于消​​息队列或企业消息系统。
2. 它允许您以容错方式存储记录流。
3. 它可以让您处理记录流。

• Kafka作为一个或多个服务器上的集群运行。
• 卡夫卡群集将名为主题的类别的记录流存储起来。
• 每个记录由一个键，一个值和一个时间戳组成。

四个核心API

1:Produce API   允许应用程序发布的记录流至一个或多个卡夫卡的话题

2：Consumer API   允许应用程序订阅一个或多个主题，并处理所产生的对他们记录的数据流

3:Stream API允许应用程序充当流处理器，从一个或多个主题消耗的输入流，并产生一个输出流至一个或多个输出的主题

，有效地变换所述输入流，以输出流

4:Connector API  允许构建和运行卡夫卡主题连接到现有的应用程序或数据系统中重用生产者或消费者

二.Topics和 Logs

上图可以看见一个topic可以有多个consumer去订阅数据并写入数据

每一个Partition里面的有顺序的数字是offset

三.Distribution

日志的partitions分布在集群上以实现容错

每个partition有一个server充当leader,其他是followers。

如果leader failed,则由其中一个followers充当leader。

三.Producers

Producers负责选择将哪一条记录哪个主题的哪个Partition，以平衡各个部分的负载

四.Consumers

如上图，两个Kafka server 上有一个Topic的4个Partition

Consumer Group A 有两个Consumer

Consumer Group B 有四个Consumer

在一个Group内，Partition 被平衡分配

----------------------------------------------------------------------------待更-------------------------------------------------------------------------------------------------