一个影响IO performance的问题

最近写了一个driver，将一个文件虚拟成SCSI DISK。该驱动程序本质上就是一个HBA driver。在驱动性能测试的时候，发现IO performance很低，在大量数据写的时候只达到了4MB/s的吞吐量，在少量数据写的时候，性能很高。该驱动的IO模型如下图所示：

 

在驱动中对queuecommand的流程进行了打印分析，发现SCSI Middle Layer发送请求的速度很慢。这就表明SCSI command的queue已经满了，所以SML无法dispatch command。通过分析，问题聚焦在：为什么virtual HBA驱动写文件的速度这么慢呢？难道在内核中访问文件的性能有问题？

仔细分析IO path，结合测试发现，该驱动的性能问题在于内存资源。采用dd工具进行测试时，访问scsi_device的数据会被push到buffer cache，buffer cache中的数据刷新到磁盘时通过virtual HBA驱动抵达page cache中。这种IO关系就会导致scsi device和file对内存资源进行竞争，如果应用存在大量的写数据，那么file将会很难得到page cache，所以IO performance就会很低。

为了验证这个想法，对Linux自带的loop device进行了测试，发现在大量数据写时，loop device同样存在performance剧降的问题。