HDF5加载一个98M的文件用时:0.087s
cPickle加载一个50M的文件用时:7.6s
87倍啊。好厉害的样子。
HDF5加载一个8G的文件用时:52.278s
cPickle加载一个4G的文件用时:643.07s
12.3倍啊。已经很可以了。
还是建议大家用hdf5.
在压缩的时候请大家注意,图片最好选择格式为uint8.否则会很大,例如我的一个文件,用cPcikle 压缩是50M,结果默认的没有选择格式直接压到了99M,但是选择了uint8之后,就一下子压缩到了24M,很厉害呦,哈哈
我的是这样用的:
out_file=h5py.File('E:/temp/%s_%s.h5'% (video_name[3:],event_name) ,'w')
out_file.create_dataset('pic',data=sample_container)
import numpy as np
import h5py
begain_t=time.time()
file=h5py.File('e:/pure_pos/20071101_E1_CAM1_Pointing.h5','r')
data=file['pic'][:]
print len(data[1])
print '%f'%(time.time()-begain_t)