探索HDF5文件（一般后缀为.h5的文件）

最近看有关lua的代码看别人用的数据集是.h5文件，在keras里我还以为是保存的权重等变量，其实.h5（HDF5，hierarchical data format，5）是一种数据文件格式，其第一层相当于python中的字典，比如打开一个h5文件查看文件主键时分成两个部分，一部分叫‘data’，一部分叫‘labels’，那么这个h5文件就相当于一个字典，‘data’部分存数据，‘labels’部分存数据的标签。

举个例子，比如读取CMU-PIE.h5文件（有关数据集的问题，常见的数据集都可以在GitHub上找到）

假设数据集已在当前目录，进入python：

import h5py

>>>file = h5py.File('CMU-PIE.h5','r')
# 使用keys()方法查看文件的主键，相当于查看h5文件的字典结构：
>>>file.keys()
[u'data',u'labels'] # 这说明这个文件中只包含两个部分，一部分是‘data’，一部分是‘labels’
>>>
>>>data = file['data'] # 读取数据
>>>data.shape
(2856,1,32,32) # 1表示通道，注意这里是channel_first，但在有些框架里可能默认的是channel_last
>>>labels = file['labels'] # 读取标签
>>>labels.shape
(2856,)

对于USPS数据集的h5文件： 先分为“train”和“test”两个部分，然后又分别分为“data”和“target”两个部分

import h5py
with h5py.File(path, 'r') as hf:
        train = hf.get('train')
        X_tr = train.get('data')[:]
        y_tr = train.get('target')[:]
        test = hf.get('test')
        X_te = test.get('data')[:]
        y_te = test.get('target')[:]