python加速运算_【Python】我是如何使计算时间提速25.6倍的

我是如何使计算时间提速25.6倍的

在显著性目标检测任务中有个重要的评价指标, E-measure, 需要使用在闭区间 [0, 255] 内连续变化的阈值对模型预测的灰度图二值化. 直接的书写方式就是使用 for 循环, 将对应的阈值送入指标得分计算函数中, 让其计算分割后的预测结果和真值mask之间的统计相似度.

在显著性目标检测中, 另一个指标, F-measure, 同样涉及到连续变化的阈值二值化处理, 但是该指标计算仅需要precision和recall, 这两项实际上仅需要正阳性(TP)和假阳性(FP)元素数量, 以及总的正(T)样本元素数量. T可以使用 np.count_nonzero(gt) 来计算, 而前两项则可以直接利用累计直方图的策略一次性得到所有的256个TP、FP数量对, 分别对应不同的阈值. 这样就可以非常方便且快速的计算出来这一系列的指标结果. 这实际上是对于F-measure计算的一种非常有效的加速策略.

但是不同的是, E-measure的计算方式(需要减去对应二值图的均值后进行计算)导致按照上面的这种针对变化阈值加速计算的策略并不容易变通, 至少我目前没有这样使用. 但是最后我找到了一种更加(相较于原始的 for 策略)高效的计算方式, 这里简单做一下思考和实验重现的记录.

选择使用更合适的函数

虽然运算主要基于 numpy 的各种函数, 但是针对同一个目的不同的函数实现方式也是有明显的速度差异的, 这里简单汇总下:

统计非零元素数量首选 np.count_nonzero(array)

我想到的针对二值图的几种不同的实现:

import time

import numpy as np

# 快速统计numpy数组的非零值建议使用np.count_nonzero，一个简单的小实验

def cal_nonzero(size):

a = np.random.randn(size, size)

a = a > 0

start = time.time()

print(np.count_nonzero(a), time.time() - start)

start = time.time()

print(np.sum(a), time.time() - start)

start = time.time()

print(len(np.nonzero(a)[0]), time.time() - start)

start = time.time()

print(len(np.where(a)), time.time() - start)

if __name__ == '__main__':

cal_nonzero(1000)

# 499950 6.723403930664062e-05

# 499950 0.0006949901580810547

# 499950 0.007088184356689453

可以看到, 最合适的是 np.count_nonzero(array) 了.

更快的交集计算方式

import time

import numpy as np

# 快速统计numpy数组的非零值建议使用np.count_nonzero，一个简单的小实验

def cal_andnot(size):

a = np.random.randn(size, size)

b = np.random.randn(size, size)

a = a > 0

b = b < 0

start = time.time()

a_and_b_mul = a * b

_a_and__b_mul = (1 - a) * (