Kafka简介

一、概述

什么是Kafka？

Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之上。 它与Apache Storm和Spark非常好地集成，用于实时流式数据分析。Kafka非常快，并保证零停机和零数据丢失。

以下是Kafka的几个优点 -

• 可靠性 - Kafka是分布式，分区，复制和容错的，消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。

• 可扩展性 - Kafka消息传递系统轻松缩放，无需停机，kafka集群支持热扩展。

• 耐用性 - Kafka使用分布式提交日志，这意味着消息会尽可能快地保留在磁盘上，因此它是持久的。

• 性能 - Kafka对于发布和订阅消息都具有高吞吐量。 即使存储了许多TB的消息，它也保持稳定的性能，kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，
  每个topic可以分多个partition, consumer group 对partition进行consume操作。

• 容错性- 允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）

• 高并发- 支持数千个客户端同时读写
• 支持实时在线处理和离线处理- 可以使用Storm这种实时流处理系统对消息进行实时进行处理，同时还可以使用Hadoop这种批处理系统进行离线处理；

 

几种分布式系统消息系统的对比：

与redis对比：

work queue队列，redis可以使用list数据结构来实现这一任务，因为redis的单个操作是原子的，保障了一条消息只能被处理一次，
但是缺点是consumer需要自己实现，还有一些负载均衡地策略也要自己去实现。

redis 消息推送（基于分布式 pub/sub）多用于实时性较高的消息推送，并不保证可靠。
而kafka consumer能够通过自定义offset来实现获取之前的消息，而redis就不具备这样的能力。

场景用例

Kafka可以在许多用例中使用。 其中一些列出如下 -

• 指标 - Kafka通常用于操作监控数据。 这涉及聚合来自分布式应用程序的统计信息，以产生操作数据的集中馈送。

• 日志聚合解决方案 - Kafka可用于跨组织从多个服务收集日志，并使它们以标准格式提供给多个服务器。

• 流处理 - 流行的框架(如Storm和Spark Streaming)从主题中读取数据，对其进行处理，并将处理后的数据写入新主题，供用户和应用程序使用。 Kafka的强耐久性在流处理的上下文中也非常有用。

 

二、基础概念

下图说明了主要术语，表格详细描述了图表组件。

在上图中，主题配置为三个分区。 分区1具有两个偏移因子0和1.分区2具有四个偏移因子0,1,2和3.分区3具有一个偏移因子0.副本的id与承载它的服务器的id相同。

假设，如果主题的复制因子设置为3，那么Kafka将创建每个分区的3个相同的副本，并将它们放在集群中以使其可用于其所有操作。 为了平衡集群中的负载，每个代理都存储一个或多个这些分区。 多个生产者和消费者可以同时发布和检索消息。

S.No	组件和说明
1	Topics（主题） 属于特定类别的消息流称为主题。 数据存储在主题中。 主题被拆分成分区。 对于每个主题，Kafka保存一个分区的数据。 每个这样的分区包含不可变有序序列的消息。 分区被实现为具有相等大小的一组分段文件。
2	Partition（分区） 主题可能有许多分区，因此它可以处理任意数量的数据。
3	Partition offset（分区偏移） 每个分区消息具有称为 offset 的唯一序列标识。
4	Replicas of partition（分区备份） 副本只是一个分区的备份。 副本从不读取或写入数据。 它们用于防止数据丢失。
5	Brokers（代理/经纪人） 代理是负责维护发布数据的简单系统。 每个代理中的每个主题可以具有零个或多个分区。 假设，如果在一个主题和N个代理中有N个分区，每个代理将有一个分区。 假设在一个主题中有N个分区并且多于N个代理(n + m)，则第一个N代理将具有一个分区，并且下一个M代理将不具有用于该特定主题的任何分区。 假设在一个主题中有N个分区并且小于N个代理(n-m)，每个代理将在它们之间具有一个或多个分区共享。 由于代理之间的负载分布不相等，不推荐使用此方案。
6	Kafka Cluster（Kafka集群） Kafka有多个代理被称为Kafka集群。 可以扩展Kafka集群，无需停机。 这些集群用于管理消息数据的持久性和复制。
7	Producers（生产者） 生产者是发送给一个或多个Kafka主题的消息的发布者。 生产者向Kafka经纪人发送数据。 每当生产者将消息发布给代理时，代理只需将消息附加到最后一个段文件。 实际上，该消息将被附加到分区。 生产者还可以向他们选择的分区发送消息。
8	Consumers（消费者） Consumers从经纪人处读取数据。 消费者订阅一个或多个主题，并通过从代理中提取数据来使用已发布的消息。
9	Leader（领导者）  Leader 是负责给定分区的所有读取和写入的节点。每个分区都有一个服务器充当Leader？？？ 。
10	Follower（追随者） 跟随领导者指令的节点被称为Follower。 如果领导失败，一个追随者将自动成为新的领导者。 跟随者作为正常消费者，拉取消息并更新其自己的数据存储。

它显示Kafka的集群图。

下表描述了上图中显示的每个组件。

S.No	组件和说明
1	Broker（代理） Kafka集群通常由多个代理组成以保持负载平衡。Kafka代理是无状态的，所以他们使用ZooKeeper来维护它们的集群状态。 一个Kafka代理实例可以每秒处理数十万次读取和写入，每个Broker可以处理TB的消息，而没有性能影响。 Kafka经纪人领导选举可以由ZooKeeper完成。
2	ZooKeeper ZooKeeper用于管理和协调Kafka代理。 ZooKeeper服务主要用于通知生产者和消费者Kafka系统中存在任何新代理或Kafka系统中代理失败。 根据Zookeeper接收到关于代理的存在或失败的通知，然后产品和消费者采取决定并开始与某些其他代理协调他们的任务。
3	Producers（生产者） 生产者将数据推送给经纪人。 当新代理启动时，所有生产者搜索它并自动向该新代理发送消息。 Kafka生产者不等待来自代理的确认，并且发送消息的速度与代理可以处理的一样快。
4	Consumers（消费者） 因为Kafka代理是无状态的，这意味着消费者必须通过使用分区偏移来维护已经消耗了多少消息。 如果消费者确认特定的消息偏移，则意味着消费者已经消费了所有先前的消息。 消费者向代理发出异步拉取请求，以具有准备好消耗的字节缓冲区。 消费者可以简单地通过提供偏移值来快退或跳到分区中的任何点。 消费者偏移值由ZooKeeper通知。

 

三、示例

示例版本：当前最新版：kafka_2.12-2.1.0 ，内置zookeeper

1、start、stop

bin/zookeeper-server-start.sh config/zookeeper.properties

bin/kafka-server-start.sh config/server.properties

bin/kafka-server-stop.sh

bin/zookeeper-server-stop.sh

 

2、topic、producer，consumer

//创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1  

--partitions 1 --topic test-kafka

//查看所有topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

//查看某个topic

bin/kafka-topics.sh --zookeeper localhost:2181 --topic test-kafka --describe



//启动生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-kafka

//启动消费者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-kafka --from-beginning

//启动消费者组

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-kafka --group test --from-beginning



//查看消费者组消费topic情况

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test --describe

四、参考链接

http://kafka.apache.org/

http://kafka.apache.org/documentation/#api

https://www.w3cschool.cn/apache_kafka/

https://blog.csdn.net/maitianshouwei/article/details/57124155