架构篇：Kafka和RokcetMQ高性能底层支撑技术零拷贝原理详解

最新推荐文章于 2024-10-27 03:42:42 发布

2401_86963661

最新推荐文章于 2024-10-27 03:42:42 发布

阅读量418

点赞数 5

文章标签：架构 kafka 分布式

本文链接：https://blog.csdn.net/2401_86963661/article/details/141962878

版权

零拷贝实际的实现并没有真正的标准，取决于操作系统如何实现这一点。零拷贝完全依赖于操作系统。操作系统支持，就有；不支持，就没有。不依赖Java本身。

传统I/O

我们以文件下载为例。

在传统LINUX环境中，分为用户空间和内核空间。用户空间可以理解为JVM，JVM是没有权利去调用启动对进程的权限的，因为这部分内容是CPU的内核空间控制。所以，如果要下载文件，JVM先启动一个线程首先得去内核空间申请这一个请求，进行read操作，当内核空间从磁盘开始读文件时，根据LINUX内部机制，会首先将数据放到页缓存中，当页缓存达到存储容量后，进行刷盘，统一将所有数据刷到内存，这时JVM读到数据后，进行后续的写操作。同样，对应的socket层和网络是LINX控制，还需要继续拷贝数据导socket和网络层将数据写到本地。如下图：

架构篇：Kafka和RokcetMQ高性能底层支撑技术零拷贝原理详解

由图可知，上面过程产生了四次数据拷贝，而此过程，我们没有对文件内容进行任何修改，那么，在内核空间和用户空间中来回拷贝数据无意是对性能的一种浪费，而零拷贝就是为了解决这种低效性。

什么是零拷贝技术？

零拷贝主要的任务就是避免CPU将数据从一块存储拷贝到另外一块存储，主要就是利用各种零拷贝技术，避免让CPU做大量的数据拷贝任务，减少不必要的拷贝，或者让别的组件来做这一类简单的数据传输任务，让CPU解脱出来专注于别的任务。这样就可以让系统资源的利用更加有效。

原理是磁盘上的数据会通过DMA被拷贝的内核缓冲区，接着操作系统会把这段内核缓冲区与应用程序共享(可以理解为Kafka或RocketMQ通过某种技术手段进行了映射)，这样就不需要把内核缓冲区的内容往用户空间拷贝。应用程序再调用write(),操作系统直接将内核缓冲区的内容拷贝到socket缓冲区中，这一切都发生在内核态，最后，socket缓冲区再把数据发到网卡去。

原理如下：

架构篇：Kafka和RokcetMQ高性能底层支撑技术零拷贝原理详解

解释：

mmap是一种内存映射文件的方法。
mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。mmap在用户空间映射调用系统中作用很大。
对于零拷贝来说，现在应用范围越来越广，比如NIO等，其实对于Kafka和RokectMQ来说，零拷贝技术只是其提高性能的一种手段，关于其他的各自独有设计，会后续持续更新，欢迎关注。
以上为全部内容。