HDF5文件介绍

最新推荐文章于 2024-09-16 08:09:35 发布

秦岭熊猫

最新推荐文章于 2024-09-16 08:09:35 发布

阅读量3.4k

点赞数 3

分类专栏：大数据

本文链接：https://blog.csdn.net/tianshan2010/article/details/106052466

版权

本文介绍了HDF5文件在深度学习中的作用，它用于存储大量数据，提供高效的读写速度。HDF5文件包含dataset和group，类似于数组和文件夹。虽然转换为HDF5可能导致文件大小增加，但可通过压缩提高效率。在选择是否使用HDF5时，需要权衡读写速度与文件大小的需求。

摘要由CSDN通过智能技术生成

一、HDF5文件介绍

Hierarchical Data Format Version 5, HDF5：层次性数据格式第五版

是一种存储相同类型数值的大数组的机制，适用于可被层次性组织且数据集需要被元数据标记的数据模型
常用的接口模块为 h5py
HDF5 三大要素：

hdf5 files：能够存储两类数据对象 dataset 和 group 的容器，其操作类似 python 标准的文件操作；File 实例对象本身就是一个组，以 / 为名，是遍历文件的入口
dataset(array-like)：可类比为 Numpy 数组，每个数据集都有一个名字（name）、形状（shape）和类型（dtype），支持切片操作
group(folder-like)：可以类比为字典，它是一种像文件夹一样的容器；group 中可以存放 dataset 或者其他的 group，键就是组成员的名称，值就是组成员对象本身(组或者数据集)

在深度学习中，通常会使用巨量的数据或图片来训练网络，比如ImageNet上就有数百万张图片。对于如此大的数据集，如果对于每张图片都单独从硬盘读取、预处理、之后再送入网络进行训练、验证或是测试，这样效率可是太低了。如果将这些图片都放入一个文件中再进行处理，这样效率会更高。有多种数据模型和库可完成这种操作，如HDF5和TFRecord。这篇文章中会介绍如何将大量的图片存入单个HDF5文件中，以及如何将它们按batch读出来。不论数据多大，即不论数据是否大于电脑内存，该方法都是有效的。HDF5提供了工具，可用于对数据进行管理、操作、可视化、压缩和存储等。

一个HDF5文件是一种