python使用h5py库存取GB级别数据

经过处理的中间数据大小为几十GB，如果存为npy格式，效率低下，存取都要占用大量内存，而且速度很慢，故将存储格式改为h5格式。

1、数据保存

a = h5py.File('E:/Alibaba/add_data.h5', 'w')
a.create_dataset('data', data=add_data)
a.close()

2、读取数据

file = h5py.File('E:/Alibaba/add_data.h5', 'r')
add_data = np.zeros(shape=file['data'].shape)
for i in range(file['data'].shape[0]):
    add_data[i,:] = file['data'][i,:]

用这个格式，解决了数据存取过慢的问题。