经过处理的中间数据大小为几十GB,如果存为npy格式,效率低下,存取都要占用大量内存,而且速度很慢,故将存储格式改为h5格式。
1、数据保存
a = h5py.File('E:/Alibaba/add_data.h5', 'w')
a.create_dataset('data', data=add_data)
a.close()
2、读取数据
file = h5py.File('E:/Alibaba/add_data.h5', 'r')
add_data = np.zeros(shape=file['data'].shape)
for i in range(file['data'].shape[0]):
add_data[i,:] = file['data'][i,:]
用这个格式,解决了数据存取过慢的问题。