KAFKA的两种模式和分区策略

厌¾恶

已于 2024-05-05 14:56:51 修改

阅读量729

点赞数 4

文章标签： kafka 大数据

于 2022-09-07 12:14:15 首次发布

本文链接：https://blog.csdn.net/qq_68105717/article/details/126743035

版权

前言

kafkaKafka是一种高吞吐量的分布式发布订阅消息系统，用于处理流式数据成为我们大数据非常重要的组件之一

一、Kafka是什么？

Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。

二、2种模式

1.Peer-to-Peer (Queue)

{消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。 Queue 支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费
在这里插入图片描述

2.Publish/Subscribe（Topic）

{消息生产者（发布）将消息发布到 topic 中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到 topic 的消息会被所有订阅者消费。

三、kafka是如何实现高吞吐的

1.单台kafka为什么这么快

磁盘的顺序读写：

随机的读写：是需要在磁盘上通过指针去旋转写入，读取也是依靠磁盘指针去转动读写，
kafka的读写：是依靠顺序读写在磁盘上开辟一个空间再写入的时候是以最佳的方式去写入大大的缩短了时间。

零拷贝技术：

传统拷贝：需要我们把数据拷贝到我们的内核缓冲区（read buffer）再到我们的用户缓冲区
再从用户缓冲区发送到我们的（socket buffer），再到我们的网卡缓冲区
零拷贝：是我们的数据拷贝到内核缓冲区（read buffer）直接到我们的网卡缓冲区(零拷贝不是指我们不需要拷贝，而是我们在内核缓冲区中的没有拷贝)

2.集群

分区+索引策略

kafka中的topic中的内容可以被分为多分partition存在,每个partition又分为多个段segment,所以每次操作都是针对一小部分做操作，很轻便，并且增加并行操作的能力
### 压缩
Kafka还支持对消息集合进行压缩，Producer可以通过GZIP或Snappy格式对消息集合进行压缩
压缩的好处就是减少传输的数据量，减轻对网络传输的压力
### 页缓存技术
页缓存是操作系统实现的一种主要的磁盘缓存，以此用来减少对磁盘I/O的操作。具体来说，就是把磁盘中的数据缓存到内存中，把对磁盘的访问变为对内存的访问。为了弥补性能上的差异，现代操作系统越来越多地将内存作为磁盘缓存，甚至会将所有可用的内存用途磁盘缓存，这样当内存回收时也几乎没有性能损失，所有对于磁盘的读写也将经由统一的缓存。
加上零拷贝和随机读写