python矩阵切片规则_python – h5py:切片数组的正确方法

我在这里有点困惑:

据我所知,h5py的.value方法读取整个数据集并将其转储到一个数组中,这个数组很慢而且不鼓励(通常应该用[()]代替.正确的方法是使用numpy-esque切片.

但是,我得到了令人不快的结果(使用h5py 2.2.1):

import h5py

import numpy as np

>>> file = h5py.File("test.hdf5",'w')

# Just fill a test file with a numpy array test dataset

>>> file["test"] = np.arange(0,300000)

# This is TERRIBLY slow?!

>>> file["test"][range(0,300000)]

array([ 0, 1, 2, ..., 299997, 299998, 299999])

# This is fast

>>> file["test"].value[range(0,300000)]

array([ 0, 1, 2, ..., 299997, 299998, 299999])

# This is also fast

>>> file["test"].value[np.arange(0,300000)]

array([ 0, 1, 2, ..., 299997, 299998, 299999])

# This crashes

>>> file["test"][np.arange(0,300000)]

我想我的数据集非常小,以至于.value不会显着地影响性能,但第一个选项怎么可能那么慢呢?

这里的首选版本是什么?

谢谢!

UPDATE

看来我不够清楚,抱歉.我知道.value将整个数据集复制到内存中,而切片只检索适当的子部分.我想知道为什么在文件中切片比复制整个数组然后在内存中切片要慢.

我一直认为hdf5 / h5py是专门实现的,因此切片子部分总是最快的.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值