第一章（2）——Kafka特性Ⅱ

顺序写入&ZeroCopy

Kafka的特性之一就是高吞吐率，但是Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的，但是Kafka即使是普通的服务器， Kafka也可以轻松支持每秒百万级的写入请求,超过了大部分的消息中间件，这种特性也使得Katka在日志处理等海量数据场景广泛应用.Kafka会把收到的消息都写入到硬盘中，防止丢失数据.为了优化写入速度Kafka采用了两个技术顺序写入和MMFile 。
因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械动作”，它是最耗时的。所以硬盘最讨厌随机I/O，最喜欢顺序V/0.为了提高读写硬盘的速度， Kafka就是使用顺序I/0。这样省去了大量的内存开销以及节省了I0寻址的时间。但是单纯的使用顺序写入,Kafka的写入性能也不可能和内存进行对比，因此Kafka的数据并不是实时的写入硬盘中。
Kafka充分利用了现代操作系统分页存储来利用内存提高I/O效率.Memory Mapped Files(后面简称mmap)也称为内存映射文件，在64位操作系统中一般可以表示20G的数据文件，它的工作原理是直接利用操作系统的Page实现文件到物理内存的直接映射，完成MMP映射后，用户对内存的所有操作会被操作系统自动的刷新到磁盘上，极大地降低了IO使用率。

Zero Copy

Kafka服务器在响应客户端读取的时候，底层使用ZeroCopy技术,直接将磁盘无需拷贝到用户空间,而是直接将数据通过内核空间传递输出，数据并没有抵达用户空间。
传统IO操作

1. 用户进程调用read等系统调用向操作系统发出IO请求，请求读取数据到自己的内存缓冲区中.自己进入阻塞状态。
2. 操作系统收到请求后,进一步将IO请求发送磁盘.
3. 磁盘驱动器收到内核的IO请求，把数据从磁盘读取到驱动器的缓冲中。此时不占用CPU,当驱动器的缓冲区被读满后，向内核发起中断信号告知自己缓冲区已满.
4. 内核收到中断，使用CPU时间将磁盘驱动器的缓存中的数据拷贝到内核缓冲区中.
5. 如果内核缓冲区的数据少于用户申请的读的数据，重复步骤3跟步骤4,直到内核缓冲区的数据足够多为止.
6. 将数据从内核缓冲区拷贝到用户缓冲区，同时从系统调用中返回。完成任务

DMA读取

1. 用户进程调用read等系统调用向操作系统发出IO请求,请求读取数据到自己的内存缓冲区中.自己进入阻塞状态。
2. 操作系统收到请求后，进一步将IO请求发送DMA。然后让CPU千别的活去。
3. DMA进一步将IO请求发送给磁盘。
4. 磁盘驱动器收到DMA的IO请求，把数据从磁盘读取到驱动器的缓冲中.当驱动器的缓冲区被读满后,向DMA发起中断信号告知自己缓冲区已满,
5. DMA收到磁盘驱动器的信号，将磁盘驱动器的缓存中的数据拷贝到内核缓冲区中,此时不占用CPU,这个时候只要内核缓冲区的数据少于用户申请的读的数据，内核就会一直重复步骤3跟步骤4，直到内核缓冲区的数据足够多为止。
6. 当DMA读取了足够多的数据，就会发送中断信号给CPU.
7. CPU收到DMA的信号，知道数据已经准备好,.子是将数据从内核拷贝到用户空间,系统调用返回,

跟IO中断模式相比，DMA模式下，DMA就是CPU的一个代理,它负责了一部分的拷贝工作，从而减轻了CPU的负担。DMA的优点就是:中断少,CPU负担低。