python h5py库的使用

H5数据集的使用

#创建
 with h5py.File("data_train.h5", 'w') as hf:
        hf.create_dataset('train_input', data=shuffled_input)
        hf.create_dataset('train_label', data=shuffled_label)

#打开
with h5py.File("data_train.h5", 'r') as hf:
		train_data = np.array(hf.get('train_input'))
		train_label = np.array(hf.get('train_label'))

使用h5py的 group 分割GB级数据

#创建
with h5py.File("myh5py.h5", "w") as f:
    # 创建两个组
    g1 = f.create_group("bar1")
    g2 = f.create_group("bar2")
    # 分别组里面分别创建名为为train,label的数据集并赋值。
    g1["train"] = np.arange(10)
    g1["label"] = np.arange(10)
    g2["train"] = np.arange(20)
    g2["label"] = np.arange(20)

#打开
with h5py.File("myh5py.h5", "r") as hf:
    for g in hf.keys():#遍历所有的组
        print(np.array(hf.get(g)['train']))#获取组中名为 train 的数据集
        print(np.array(hf.get(g)['label']))
发布了24 篇原创文章 · 获赞 13 · 访问量 5415
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览