测试python对于不同数据文件类型的读取速度

之前训练网络的data augmentation这一步我都是用matlab做的，每个patch以tiff的形式存为一张一张小图，每次训练的时候再依次去读取。昨天偶然在知乎上看到一个回答说tif的读取速度很慢，于是决定测试一下各种文件格式的读取速度。

我自己经常用的数据存储格式是.tif、.npy和.mat，所以主要测试这三种格式，测试从占用硬盘空间和读取速度两个维度来考虑。

占用硬盘空间方面，.npy和.tif都是无压缩格式，而MATLAB种保存的.mat文件是经过压缩的，体积约为无压缩状态下的1/2。

读取速度方面，我的3D数据的patch size 是64×64×165，测试时对每种格式的patch读取100次（即共读取16500张64×64的图片），比较所消耗时间如下：

read tiff time per slice:  0:00:43.222373
read tiff time as stack:  0:00:01.589284
read mat time:  0:00:01.220547
read npy time:  0:00:00.115923

可见，逐张读取.tif是最慢的，若把.tif存为1个stack，直接读取多channel的数据可以显著加快读取速度。.mat文件可能是因为还需要解压缩，所以读取速度不如.npy，但是.npy因为没有压缩，所以所占空间比.mat大一倍左右。而.mat和.npy还有一个缺点是无法直接用fiji进行可视化，需要在python里或matlab里查看，不是很方便，而在这一点上多channel的.tif可以直接可视化，会方便不少。

如果训练的batch size为2，那么100个iterations需要读取100×2×2=400次数据，其实网络反向传播和梯度下降所需的时间已经远大于5s这个量级，所以除逐张读取tiff这一方案之外，其余方案都差不多，综合可视化的因素，后续可以用多channel的.tif格式存储数据。