HDF5文件介绍

一、HDF5文件介绍

Hierarchical Data Format Version 5, HDF5： 层次性数据格式第五版

是一种存储相同类型数值的大数组的机制，适用于可被层次性组织且数据集需要被元数据标记的数据模型
常用的接口模块为 h5py
HDF5 三大要素：

hdf5 files： 能够存储两类数据对象 dataset 和 group 的容器，其操作类似 python 标准的文件操作；File 实例对象本身就是一个组，以 / 为名，是遍历文件的入口
dataset(array-like)： 可类比为 Numpy 数组，每个数据集都有一个名字（name）、形状（shape） 和类型（dtype），支持切片操作
group(folder-like)： 可以类比为 字典，它是一种像文件夹一样的容器；group 中可以存放 dataset 或者其他的 group，键就是组成员的名称，值就是组成员对象本身(组或者数据集)

在深度学习中，通常会使用巨量的数据或图片来训练网络，比如ImageNet上就有数百万张图片。对于如此大的数据集，如果对于每张图片都单独从硬盘读取、预处理、之后再送入网络进行训练、验证或是测试，这样效率可是太低了。如果将这些图片都放入一个文件中再进行处理，这样效率会更高。有多种数据模型和库可完成这种操作，如HDF5和TFRecord。这篇文章中会介绍如何将大量的图片存入单个HDF5文件中，以及如何将它们按batch读出来。不论数据多大，即不论数据是否大于电脑内存，该方法都是有效的。HDF5提供了工具，可用于对数据进行管理、操作、可视化、压缩和存储等。

一个HDF5文件是一种