blp模型 上读下写_lmdb、hdf5下的data loader性能比较

接着上一篇文章，

shawn：torch Dataloader中的num_workers​zhuanlan.zhihu.com

这里简单讨论一下，如果数据集做成lmdb和hdf5，load data的性能又如何呢？

需要知道的是，从磁盘读入数据，首先会load进buffer中，因此，在buffer的情况下，载入肯定快，因此下面实验一般会分这两种情况：有buffer和无buffer。

其次，虽然是比较lmdb和hdf5，但我们还需要一个baseline：直接read文件路径，下面开始实验。

基本信息：

本机配置：8核32G内存，工作站内置一块2T的机械硬盘，数据均放在该硬盘上

操作系统：ubuntu 16.04 LTS

pytorch：1.0

python：3.6

1. 直接从文件路径读取

1.1 读