如何生成HDF5文件

在使用深度学习学习图像文件的时候，如果图片文件很多，比如大几千张，或者几万张。如果将一个图片再接一个图片导入到内存中，会极大地拖慢深度学习算法运行速度。我们都有过这样的经验，如果将一个文件夹里面有几万个文件的文件夹进行复制，其速度要比将文件夹打包之后复制速度要慢很多。

为了不让IO运算（将硬件中的图片一个一个导入到内存中）成为深度学习训练速度无法提高的一个瓶颈，这里来介绍一种方法，就是将很多的文件打包成一个HDF5的文件格式，最后用深度学习算法学习的时候，直接HDF5文件中导入数据就可以。

HDF5文件介绍

HDF5是一种数据存储格式，特别适合向磁盘中存取大数据的时候使用。一个HDF5文件可以被看成一个组，包含了不同的数据集，数据集可以是图像表格等等。HDF5组结构类似于文件系统的目录层次结构，根目录再包含其他目录。节点目录里存放相应的数据集。

安装很简单，使用pip

pip install h5py

如何将训练数据生成HDF5文件

class HDF5DatasetWriter:
    def __init__(self, dims, outputPath, dataKey="images", bufSize=1000):
        # 如果输出文件路径存在，提示异常
        if os.path.exists(outputPath):
            raise ValueError("The supplied 'outputPath' already exists and cannot be overwritten. Manually delete the file before continuing", outputPath)

        # 构建两种数据，一种用来存储图像特征一种用来存储标签
        self.db = h5py.File(outputPath, "w")
        self.data = self.db.create_dataset(dataKey, dims, dtype="float")
        self.labels = self.db.create_dataset("labels", (dims[0],), dtype="int")

        # 设置buffer大小，并初始化buffer
        self.bufSize = bufSize
        self.bu