深度学习_数据集_HDF5数据格式

HDF5数据格式介绍

HDF 是用于存储和分发科学数据的一种自我描述、多对象文件格式，是一种存储相同类型数值的大数组的机制。HDF 是由美国国家超级计算应用中心（NCSA）创建的，以满足不同群体的科学家在不同工程项目领域之需要。HDF 可以表示出科学数据存储和分布的许多必要条件。HDF 被设计为：

• 自述性：对于一个HDF 文件里的每一个数据对象，有关于该数据的综合信息（元数据）。在没有任何外部信息的情况下，HDF 允许应用程序解释HDF文件的结构和内容。
• 通用性：许多数据类型都可以被嵌入在一个HDF文件里。例如，通过使用合适的HDF 数据结构，符号、数字和图形数据可以同时存储在一个HDF 文件里。
• 灵活性：HDF允许用户把相关的数据对象组合在一起，放到一个分层结构中，向数据对象添加描述和标签。它还允许用户把科学数据放到多个HDF 文件里。
• 扩展性：HDF极易容纳将来新增加的数据模式，容易与其他标准格式兼容。
• 跨平台性：HDF 是一个与平台无关的文件格式。HDF 文件无需任何转换就可以在不同平台上使用。

HDF5数据格式的文件组织

一个HDF5文件就是一个由两种基本数据对象（groups and datasets）存放多种科学数据的容器：

• HDF5 group: 包含0个或多个HDF5对象以及支持元数据（metadata）的一个群组结构

• HDF5 dataset: 数据元素的一个多维数组以及支持元数据（metadata）

HDF5数据格式在Python中的应用

python应用h5py库实现对HDF5格式的数据文件（.h5）进行操作。

import h5py  #导入工具包  
import numpy as np  
#HDF5的写入：  
imgData = np.zeros((30,3,128,256))  
f = h5py.File('file.h5','w')        #创建一个h5文件，文件指针是f  
f['data'] = imgData                 #将数据写入文件的主键data下面  
f['labels'] = range(100)            #将数据写入文件的主键labels下面  
f.close()                           #关闭文件  
  
#HDF5的读取：  
f = h5py.File('file.h5','r')   #打开h5文件  
f.keys()                            #可以查看所有的主键  
a = f['data'][:]                    #取出主键为data的所有的键值  
f.close()