Python:IPython性能度量
有时您可能需要比较两个类似操作的性能。
IPython为您提供了一个魔法命令 timeit 来执行此操作。它多次运行代码以获得更准确的结果。同样,它也适用于度量单行代码。
例如,你知道下面哪个加法运算更好吗?
x = 5;y = x**2;
x = 5;y = x*x;
x = np.uint8([5]);y = x*x,或者y = np.square(x)?
我们将在IPython shell中通过timeit找到答案。
x = 5
%timeit y=x**2
# 结果
10000000 loops, best of 3: 73 ns per loop
%timeit y=x*x
# 结果
10000000 loops, best of 3: 58.3 ns per loop
z = np.uint8([5])
%timeit y=z*z
# 结果
1000000 loops, best of 3: 1.25 us per loop
%timeit y=np.square(z)
# 结果
1000000 loops, best of 3: 1.16 us per loop
可以看到,x = 5;y = x*x是最快的,它比Numpy大约快20倍。
如果还考虑数组的创建,可能会快100倍。很酷,对吧?*(Numpy开发者正在处理这个问题)*
【注意】
Python标量操作比Numpy标量操作快。因此,对于包含一个或两个元素的操作,Python scalar要比Numpy数组好。
当数组的大小稍微大一点时,Numpy具有优势。
我们再举一个例子。这一次,我们将比较相同映像的vc . countnonzero()和np.count_nonzero()的性能。
%timeit z = cv.countNonZero(img)
# 结果
100000 loops, best of 3: 15.8 us per loop
%timeit z = np.count_nonzero(img)
# 结果
1000 loops, best of 3: 370 us per loop
看,OpenCV函数比Numpy函数快了近25倍。
【注意】
通常,OpenCV函数比Numpy函数更快。因此,对于相同的操作,首选的是OpenCV函数。
但是,也有例外,特别是当Numpy使用视图而不是副本时。
更多的IPython魔法命令
还有其他一些神奇的命令可以测量性能、分析、行分析、内存测量等等。
它们都有很好的文档记录。所以这里只提供这些文档的链接。有兴趣的读者可以试一试。
性能优化技术
有几种技术和编码方法可以最大限度地利用Python和Numpy的性能。这里只列出相关的资料,并提供重要资料的链接。
这里要注意的主要事情是,首先尝试以一种简单的方式实现算法。一旦它开始工作,分析它,然后发现瓶颈,并优化它们。
常用技巧如下:
- 尽量避免在Python中使用循环,特别是双/三重循环等。它们天生就很慢。
- 将算法/代码向量化到可能的最大程度,因为Numpy和OpenCV针对向量操作进行了优化。
- 利用缓存一致性。
- 除非必要,不要复制数组。尝试使用视图代替。数组复制是一项开销很大的操作。
如果您的代码在执行了所有这些操作之后仍然很慢,或者不可避免地要使用大的循环,那么可以使用Cython等其他库来提高速度。
附加资源
Python优化技术:https://wiki.python.org/moin/PythonSpeed/PerformanceTips
Scipy课堂笔记-高级Numpy:http://scipy-lectures.org/advanced/advanced_numpy/index.html#advanced-numpy
IPython中的计时和分析:https://pynash.org/2013/03/06/timing-and-profiling/