Kafka
Kafka 概念
Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统,最初由 LinkedIn 公司开发,使用 Scala 语言编写,目前是Apache 的开源项目。【耐心读完,文末有读者福利!!!】
1. broker:Kafka 服务器,负责消息存储和转发
2. topic :消息类别,Kafka 按照topic 来分类消息
3. partition :topic 的分区,一个 topic 可以包含多个 partition ,topic 消息保存在各个 partition 上
4. offset:消息在日志中的位置,可以理解是消息在partition 上的偏移量,也是代表该消息的唯一序号
5. Producer:消息生产者
6. Consumer:消息消费者
7. Consumer Group:消费者分组,每个Consumer 必须属于一个group
8. Zookeeper :保存着集群broker、topic、partition 等meta 数据;另外,还负责broker 故 障发现,partition leader 选举,负载均衡等功能
Kafka 数据存储设计
partition 的数据文件 (offset,MessageSize,data)
partition 中的每条Message包含了以下三个属性:offset,MessageSize,data,其中offset表 示Message 在这个partition 中的偏移量,offset 不是该Message 在partition 数据文件中的实际存储位置,而是逻辑上一个值,它唯一确定了partition 中的一条Message,可以认为offset是
partition 中Message 的id;MessageSize 表示消息内容data 的大小;data 为Message 的具体内容。
数据文件分段segment (顺序读写、分段命令、二分查找)
partition物理上由多个segment 文件组成,每个segment 大小相等,顺序读写。每个segment数据文件以该段中最小的offset 命名,文件扩展名为.log。这样在查找指定offset 的Message 的时候,用二分查找就可以定位到该Message 在哪个segment 数据文件中。
数据文件索引 (分段索引、稀疏存储)
Kafka 为每个分段后的数据文件建立了索引文件,文件名与数据文件的名字是一样的,只是文件扩展名为.index。index 文件中并没有为数据文件中的每条 Message 建立索引,而是采用了稀疏存储的方式,每隔一定字节的数据建立一条索引。这样避免了索引文件占用过多的空间,从而可以将索引文件保留在内存中。
生产者设计
负载均衡 (partition 会均衡分布到不同broker 上)
由于消息topic 由多个partition 组成,且partition 会均衡分布到不同broker 上,因此,为了有效利用broker 集群的性能,提高消息的吞吐量,producer 可以通过随机或者hash 等方式,将消息平均发送到多个partition 上,以实现负载均衡。
批量发送
是提高消息吞吐量重要的方式,Producer 端可以在内存中合并多条消息后,以一次请求的方式发送了批量的消息给broker,从而大大减少broker 存储消息的IO 操作次数。但也一定程度上影响了消息的实时性,相当于以时延代价,换取更好的吞吐量。
压缩 (GZIP 或Snappy)
Producer 端可以通过GZIP 或Snappy 格式对消息集合进行压缩。Producer 端进行压缩之后,在Consumer 端需进行解压。压缩的好处就是减少传输的数据量,减轻对网络传输的压力,在对大数据处理上,瓶颈往往体现在网络上而不是CPU (压缩和解压会耗掉部分CPU 资源)。
消费者设计
Consumer Group
同一Consumer Group 中的多个Consumer 实例,不同时消费同一个partition,等效于队列模式。partition 内消息是有序的,Consumer 通过pull 方式消费消息。Kafka 不删除已消费的消息对于partition,顺序读写磁盘数据,以时间复杂度O(1)方式提供消息持久化能力。
以上是Java核心技术知识点详解pdf文档中的一个章节,需要完整的资料可以评论回复我!