python怎么用numpy_python-有效使用numpy_indexed输出

一种方法是使用np.unique生成那些唯一标记和间隔移位索引,然后使用np.add.reduceat生成间隔求和-

_,idx,tags = np.unique(a[:,0], return_index=1, return_inverse=1)

out = np.c_[a, np.add.reduceat(a[:,1],idx)[tags]]

避免使用np.unique并可能对性能有所帮助的另一种方式是这样的-

idx = np.r_[0,np.flatnonzero(a[1:,0] > a[:-1,0])+1]

tag_arr = np.zeros(a.shape[0], dtype=int)

tag_arr[idx[1:]] = 1

tags = tag_arr.cumsum()

out = np.c_[a, np.add.reduceat(a[:,1],idx)[tags]]

为了进一步提高性能,我们应该使用np.bincount.因此,可以将np.add.reduceat(a [：,1],idx)替换为np.bincount(tags,a [：,1]).

样品运行-

In [271]: a # Using a more generic sample

Out[271]:

array([[11, 4],

[11, 4],

[14, 8],

[14, 8],

[16, 10],

[16, 10]])

In [272]: _,idx,tags = np.unique(a[:,0], return_index=1, return_inverse=1)

In [273]: np.c_[a, np.add.reduceat(a[:,1],idx)[tags]]

Out[273]:

array([[11, 4, 8],

[11, 4, 8],

[14, 8, 16],

[14, 8, 16],

[16, 10, 20],

[16, 10, 20]])]

现在,列出的方法假定第一列已经排序.如果不是这种情况,我们需要按第一列argsort对数组进行排序,然后使用建议的方法.因此,对于未排序的情况,我们需要进行以下预处理：

a = a[a[:,0].argsort()]

与np.unique作战

让我们根据内置np.unique的时间来定制基于flatnonzero cumsum的方法来创建移动索引：idx和基于唯一性的ID / tags：标签.对于这种情况,我们事先知道labels列已被排序,因此我们避免使用np.unique进行任何排序.这给我们带来了性能上的优势.因此,让我们验证一下.

方法-

def nonzero_cumsum_based(A):

idx = np.concatenate(( [0] ,np.flatnonzero(A[1:] > A[:-1])+1 ))

tags = np.zeros(len(A), dtype=int)

tags[idx[1:]] = 1

np.cumsum(tags, out = tags)

return idx, tags

def unique_based(A):

_,idx,tags = np.unique(A, return_index=1, return_inverse=1)

return idx, tags

使用自定义功能运行示例-

In [438]: a

Out[438]:

array([[11, 4],

[11, 4],

[14, 8],

[14, 8],

[16, 10],

[16, 10]])

In [439]: idx, tags = nonzero_cumsum_based(a[:,0])

In [440]: idx

Out[440]: array([0, 2, 4])

In [441]: tags

Out[441]: array([0, 0, 1, 1, 2, 2])

时间-

In [444]: a = np.c_[np.sort(randi(10,10000,(100000))), randi(0,10000,(100000))]

In [445]: %timeit unique_based(a[:,0])

100 loops, best of 3: 4.3 ms per loop

In [446]: %timeit nonzero_cumsum_based(a[:,0])

1000 loops, best of 3: 486 ?s per loop

In [447]: a = np.c_[np.sort(randi(10,10000,(1000000))), randi(0,10000,(1000000))]

In [448]: %timeit unique_based(a[:,0])

10 loops, best of 3: 50.2 ms per loop

In [449]: %timeit nonzero_cumsum_based(a[:,0])

100 loops, best of 3: 3.98 ms per loop