此文已由作者顾贤杰授权网易云社区发布。
欢迎访问
一、前言
每天和服务器打交道,经常遇到各种问题。在这些问题中很大一块,都和IO有关系。学过计算机的,在使用计算机多了后,会发现在实际使用的时候,我们最难扩展的计算资源莫过于IO资源。很多时候计算资源不够,可以搞分布式MR。但是当IO不够(网卡IO,硬盘IO,内存IO等)的时候,我们经常缺少有效的直接的手段去解决这个问题。相对于CPU计算速度的提升,IO速度提升一直都相对缓慢。因此操作系统的设计者们为了缓解IO压力,尤其是硬盘IO压力,做了很多的研究和实践工作。
因为文件系统IO很多时候非常的底层,除了内核开发人员,很少有人去认真地关注IO的具体情况。因此在这篇文章中,我主要介绍的是Linux文件系统IO,希望能以一个系统运维工程师的角度为大家分析一下当前Linux文件系统中的IO算法的特性。
二、关于Linux IO调度
很多人都知道随机读写和顺序读写在数据吞吐量上有很大的区别。这个是因为随机读写和顺序读写在IO寻址次数和系统调用次数上有很大的不同。
在一般情况下,服务器访问机械硬盘,数据存取的消耗主要是磁盘的寻道时间。当系统上的IO读取非常随机的时候,通常会看到磁盘的IO速度会直线下降。这是因为数据太过于随机,导致读写的消耗大部分都用在磁盘寻道上,真正用于IO的时间变少了。(SSD虽然没有了磁盘寻道,但是也需要寻址操作。)我们希望服务器上的IO速度能更快,但是现实情况是寻址操作非常消耗时间。这个时候Linux的文件系统IO调度器就派上了用场。IO调度器的主要任务为管理设备请求队列和分配资源给请求,最主要的工作方式就是通过对IO请求做合并和排序。合并针对相同硬盘区域的操作;排序针对读写块大小和地址,以达到最大IO速度。最终的目的是减少系统调用开销和寻址次数。当系统中的一个程序多次调用写操作的时候,如果没有IO调度,最可能的情况是多次寻址读写,而且程序本身也时常处于等待IO的状态。
在我们当前的服务器系统中,我们会有3个IO调度算法可以选择。它们分别是:NOOP,Deadline,CFQ。
1. AS调度算法
在说当前的内核调度算法前,我们可以先回顾一下内核2.6.18前的IO调度算法。在2.6.18前,系统默认的IO调度算法是AS(Anticipatory scheduling )。这个调度算法的特点是基于预测算法,目的是为了解决Deceptive idleness问题。在实际工作的时候,它处理完一个请求,不直接处理下一个请求,而是等待上一个请求的进程片刻(默认等6ms),如果该进程发出和当前扇区相同或者相邻扇区的请求的时候,优先处理。可以想象当系统中有大量相邻扇区操作的时候,性能会非常好。
2. CFQ调度算法
而在2.6.18后,内核的默认调度算法变为CFQ。这个算法的特点是:
每个提交IO请求的进程都有一个自己单独的sorted queue
在每个时间片中,CFQ会选择一个进程去处理它的IO队列
这个选择过程,不是简单的轮询,而是基于进程优先级红黑树选择)
保证各个进程的IO都能均衡地被处理
有类似AS算法的等待机制
大家可以想象这样的一个场景,当大量进程同时请求IO的时候,有些进程的IO队列特别长。这个时候会有2种情况:
1.一直只处理高优先级的进程IO,低优先级的进程基本IO饿死
2.相同优先级的进程IO处理的时候,IO队列长的进程会长时间处于IO wait状态(单个时间片无法处理完,下次处理继续寻址)
默认情况下CFQ调度算法,系统中有多个IO controller或者LUNs,如果IO在这些控制器之间比较均衡,性能会非常好。但是当系统中有很多进程同时对一个IO controller做操作的时候,因为进程间独立的IO队列,无法合并进程间的相同扇区的IO请求,就很可能会导致频繁的寻址操作。
3. Deadline调度算法
在实际使用的时候,我们的系统经常会同时运行多个大读写IO的进程。我们使用发现CFQ调度,会遇到IO请求超时非常严重。Deadline算法因为其特殊的设计,对这样的场景会变得更加适合。
Deadline算法的特点是:
IO请求带超时的算法
有3个队列,read queue,write queue,sorted queue
请求同时插入到read/write/sorted队列
read queue和write queue按照IO过期时间排序,sorted queue(包含read/write请求)按照磁盘sector排序。Deadline算法中read queue的优先级较高,这个是因为一般情况下进程的写可以缓存到内存,而读操作是block操作。当一个写请求饥饿次数到一定程度的时候,会被立即处理,能有效的避免写饥饿。在多进程IO的环境中,因为Deadline算法的特性,进程间的IO读写序列能被优化(一个Nginx进程的日志写操作和一个tailfile进程的读操作就可能被安排到sorted queue队列中),降低进程切换导致的IO寻址时间。
Deadline算法看上去很好,但是当我们的系统中有大量顺序请求的时候,很有可能的情况是请求无法被很好地排序。比如说2个程序同时做大量顺序请求的时候,在队列中会呈现交替排序现象,会导致IO寻址不断地在2个程序间切换。
4. NOOP算法
NOOP算法是一种针对SSD优化的算法。因为在SSD中,随机找一个地址和顺序找一个地址在时间消耗上是一样的,因此这个算法对IO操作只做合并。所有的IO请求都在一个FIFO队列中,只做简单的IO请求合并。因此这个算法的使用场景比较有限。
5. 实际场景
在说完以上这些调度程序的内在原理,结合实际我们来看看我们线上的使用场景。
数据归档业务 — 大量顺序请求,CFQ调度够用(程序不多的情况下Deadline无明显优势,可能会有劣势)
云计算业务 — 大量进程同时读写单个控制器,适合Deadline调度
跑在SSD上的业务 — 寻址不再是瓶颈,可以考虑NOOP调度,节省CPU对IO排序的消耗。
三、总结
在线上云环境一般情况下我们推荐使用Deadline算法。但是当使用SSD硬盘的时候,我们可以使用NOOP算法。在服务器只做大文件创建归档的时候,我们选择CFQ算法。
网易云
更多网易技术、产品、运营经验分享请