目录
一、Kafka定义
1.什么是Kafka?
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过Kafka Connect连接到外部系统(用于数据输入/输出),并提供了一个Java流式处理库Kafka Streams。——摘自维基百科
2.发展历史
Kafka起初是由 LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于 ZooKeeper 的分布式消息系统,后来捐献给 Apache 基金会。 目前Kafka 已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成。
3.基本概念
服务器节点(Broker):每一个Kafka程序实例即为一个Broker。一般可以将一台服务器看作Broker,前提此服务器只部署了一个Kafka实例。
主题(Topic):Kafka中消息以主题为单位进行归类,生产者将消息发送到特定主题,消费者从特定主题进行消费。
分区(Partition):一个Topic可以分为若干个分区,一个分区只属于单个主题,分区均匀分布在集群中。分区是Kafka高吞吐,容灾,负载均衡的保证。
生产者(Producer): 消息发送方,负责创建消息,将消息投递到Broker中。
消费者(Consumer):消息接收方,连接到Broker并消费特定Topic中的消息,进行逻辑处理。
二、Kafka工作原理
1.Kafka架构
Kafka消息传递:生产者将消息发送到Kafka集群,Kafka集群将消息转给消费者
Kafka集群架构:
一组生产者:数据可以是Web前端产生的页面、服务器日志等 。
一组消费者:可以是Hadoop集群、实时监控程序、数据仓库或其他服务。
一组Broker
一个ZooKeeper集群(管理和协调Broker):当Kafka新增Broker或某个Broker故障失效时,ZooKeeper将及时通知生产者和消费者 。
生产者使用Push模式将消息发送到Broker ,消费者使用Pull模式从Broker消费消息 。
2.主题和分区
Kafka通过主题对消息进行分类:一个主题可以分为多个分区,每个分区可以存储于不同的Broker上。
Kafka会为每个主题维护一个分区日志,记录每个分区消息存放情况:消息以追加的方式写入到每个分区的尾部;消息以先进先出的顺序进行读取;Kafka可以保证单个分区内消息的顺序,但无法在整个主题范围内保证消息的顺序。