kafka 知识点01 必看

    Kafka 是基于发布与订阅的消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可分区的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据

🦅 Kafka 的主要特点？

• 1、同时为发布和订阅提供高吞吐量。据了解，Kafka 每秒可以生产约 25 万消息（50MB），每秒处理 55 万消息（110MB）。
• 2、可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如 ETL ，以及实时应用程序。通过将数据持久化到硬盘，以及replication ，可以防止数据丢失。
• 3、分布式系统，易于向外扩展。所有的 Producer、Broker 和Consumer 都会有多个，均为分布式的。并且，无需停机即可扩展机器。

• 4、消息被处理的状态是在 Consumer 端维护，而不是由 Broker 端维护。当失败时，能自动平衡。

使用zookeeper做分布式管理

Kafka 可以起到两个作用：

• 降低系统组网复杂度。
• 降低编程复杂度，各个子系统不在是相互协商接口，各个子系统类似插口插在插座上，Kafka 承担高速数据总线的作用。

🦅 聊聊 Kafka 的设计要点？

1）吞吐量

高吞吐是 Kafka 需要实现的核心目标之一，为此 kafka 做了以下一些设计：

• 1、数据磁盘持久化：消息不在内存中 Cache ，直接写入到磁盘，充分利用磁盘的顺序读写性能。

  直接使用 Linux 文件系统的 Cache ，来高效缓存数据。

采用 Linux Zero-Copy 提高发送性能。

• 传统的数据发送需要发送 4 次上下文切换。
• 采用 sendfile 系统调用之后，数据直接在内核态交换，系统上下文切换减少为 2 次。可以提高60%的数据发送性能

kafka 线性写入数据到磁盘，性能远远大于任意位置写的性能

详细解读zero-copy

1.数据直接在内核态交换，不需要切换到用户态

发起数据读取请求，切换到内核态，才能发送IO请求，把磁盘控制器缓冲区的数据拷贝到内存中

整个流程如下：

• 1.用户进程调用read等系统调用向操作系统发出IO请求，请求读取数据到自己的内存缓冲区中。自己进入阻塞状态。
• 2.操作系统收到请求后，进一步将IO请求发送磁盘。
• 3.磁盘驱动器收到内核的IO请求，把数据从磁盘读取到驱动器的缓冲中。此时不占用CPU。当驱动器的缓冲区被读满后，向内核发起中断信号告知自己缓冲区已满。
• 4.内核收到中断，使用CPU时间将磁盘驱动器的缓存中的数据拷贝到内核缓冲区中。
• 5.如果内核缓冲区的数据少于用户申请的读的数据，重复步骤3跟步骤4，直到内核缓冲区的数据足够多为止。
• 6.将数据从内核缓冲区拷贝到用户缓冲区，同时从系统调用中返回。完成任务。

缺点：用户的每次IO请求，都需要CPU多次参与

磁盘 --> 磁盘驱动器缓冲区 --> 内核缓冲区 --> 用户缓冲区

• 1.用户进程调用read等系统调用向操作系统发出IO请求，请求读取数据到自己的内存缓冲区中。自己进入阻塞状态。
• 2.操作系统收到请求后，进一步将IO请求发送DMA。然后让CPU干别的活去。
• 3.DMA进一步将IO请求发送给磁盘。
• 4.磁盘驱动器收到DMA的IO请求，把数据从磁盘读取到驱动器的缓冲中。当驱动器的缓冲区被读满后，向DMA发起中断信号告知自己缓冲区已满。
• 4.DMA收到磁盘驱动器的信号，将磁盘驱动器的缓存中的数据拷贝到内核缓冲区中。此时不占用CPU。这个时候只要内核缓冲区的数据少于用户申请的读的数据，内核就会一直重复步骤3跟步骤4，直到内核缓冲区的数据足够多为止。
• 5.当DMA读取了足够多的数据，就会发送中断信号给CPU。
• 6.CPU收到DMA的信号，知道数据已经准备好，于是将数据从内核拷贝到用户空间，系统调用返回。

跟IO中断模式相比，DMA模式下，DMA就是CPU的一个代理，它负责了一部分的拷贝工作，从而减轻了CPU的负担。
DMA的优点就是：中断少，CPU负担低。 但此时仍然没有减少文件数据copy次数，还是需要从内核缓冲区，复制到用户内存缓冲区

由图可知，整个过程总共发生了四次拷贝和四次的用户态和内核态的切换。

3.1 sendfile跟splice的局限性

上面提到的用来实现零拷贝的sendfile和splice接口，仅限于文件跟文件，文件跟sock之间传输数据，但是没法直接在两个socket之间传输数据的。这就是sendfile和splice接口的局限性。
如果要实现socket跟socket之间的数据直接拷贝，需要开辟一个pipe，然后调用两次splice。这样还是带来跟传统IO读写一样的问题。系能其实并没有什么大的提升。