10种检测Python程序运行时间、CPU和内存占用的方法

10种检测Python程序运行时间、CPU和内存占用的方法

作者：Marina Mele 字体：[增加 减小] 类型：转载 时间：2015-04-01 我要评论

这篇文章主要介绍了10种检测Python程序运行时间、CPU和内存占用的方法,包括利用Python装饰器或是外部的Unix Shell命令等，需要的朋友可以参考下

在运行复杂的Python程序时，执行时间会很长，这时也许想提高程序的执行效率。但该怎么做呢？

首先，要有个工具能够检测代码中的瓶颈，例如，找到哪一部分执行时间比较长。接着，就针对这一部分进行优化。

同时，还需要控制内存和CPU的使用，这样可以在另一方面优化代码。

因此，在这篇文章中我将介绍7个不同的Python工具，来检查代码中函数的执行时间以及内存和CPU的使用。
1. 使用装饰器来衡量函数执行时间

有一个简单方法，那就是定义一个装饰器来测量函数的执行时间，并输出结果：
 

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14

import time from functools import wraps    def fn_timer(function):    @wraps (function)    def function_timer( * args, * * kwargs):      t0 = time.time()      result = function( * args, * * kwargs)      t1 = time.time()      print ( "Total time running %s: %s seconds" %          (function.func_name, str (t1 - t0))          )      return result    return function_timer

接着，将这个装饰器添加到需要测量的函数之前，如下所示：
 

?

1 2 3

@fn_timer def myfunction(...): ...

例如，这里检测一个函数排序含有200万个随机数字的数组所需的时间：
 

?

1 2 3 4 5 6

@fn_timer def random_sort(n):    return sorted ([random.random() for i in range (n)])    if __name__ = = "__main__" :    random_sort( 2000000 )

执行脚本时，会看到下面的结果：
 

?

1	Total time running random_sort: 1.41124916077 seconds

2. 使用timeit模块

另一种方法是使用timeit模块，用来计算平均时间消耗。

执行下面的脚本可以运行该模块。

?

1	python - m timeit - n 4 - r 5 - s "import timing_functions" "timing_functions.random_sort(2000000)"

这里的timing_functions是Python脚本文件名称。

在输出的末尾，可以看到以下结果：
 

?

1	4 loops, best of 5 : 2.08 sec per loop

这表示测试了4次，平均每次测试重复5次，最好的测试结果是2.08秒。

如果不指定测试或重复次数，默认值为10次测试，每次重复5次。
3. 使用Unix系统中的time命令

然而，装饰器和timeit都是基于Python的。在外部环境测试Python时，unix time实用工具就非常有用。

运行time实用工具：
 

?

1	$ time - p python timing_functions.py

输出结果为：
 

?

1 2 3 4

Total time running random_sort: 1.3931210041 seconds real 1.49 user 1.40 sys 0.08

第一行来自预定义的装饰器，其他三行为：

•     real表示的是执行脚本的总时间
•     user表示的是执行脚本消耗的CPU时间。
•     sys表示的是执行内核函数消耗的时间。

注意：根据维基百科的定义，内核是一个计算机程序，用来管理软件的输入输出，并将其翻译成CPU和其他计算机中的电子设备能够执行的数据处理指令。

因此，Real执行时间和User+Sys执行时间的差就是消耗在输入/输出和系统执行其他任务时消耗的时间。
4. 使用cProfile模块

如果想知道每个函数和方法消耗了多少时间，以及这些函数被调用了多少次，可以使用cProfile模块。
 

?

1	$ python - m cProfile - s cumulative timing_functions.py

现在可以看到代码中函数的详细描述，其中含有每个函数调用的次数，由于使用了-s选项（累加），最终结果会根据每个函数的累计执行时间排序。

读者会发现执行脚本所需的总时间比以前要多。这是由于测量每个函数的执行时间这个操作本身也是需要时间。
5. 使用line_profiler模块

line_profiler模块可以给出执行每行代码所需占用的CPU时间。

首先，安装该模块：
 

?

1	$ pip install line_profiler

接着，需要指定用@profile检测哪个函数（不需要在代码中用import导入模块）：
 

?

1 2 3 4 5 6 7 8

@profile def random_sort2(n):    l = [random.random() for i in range (n)]    l.sort()    return l    if __name__ = = "__main__" :    random_sort2( 2000000 )

最好，可以通过下面的命令获得关于random_sort2函数的逐行描述。
 

?

1	$ kernprof - l - v timing_functions.py

其中-l表示逐行解释，-v表示表示输出详细结果。通过这种方法，我们看到构建数组消耗了44%的计算时间，而sort()方法消耗了剩余的56%的时间。

同样，由于需要检测执行时间，脚本的执行时间更长了。
6. 使用memory_profiler模块

memory_profiler模块用来基于逐行测量代码的内存使用。使用这个模块会让代码运行的更慢。

安装方法如下：

?

1	pip install memory_profiler

另外，建议安装psutil包，这样memory_profile会运行的快一点：
 

?

1	$ pip install psutil

与line_profiler相似，使用@profile装饰器来标识需要追踪的函数。接着，输入：
 

?

1	$ python - m memory_profiler timing_functions.py

脚本的执行时间比以前长1或2秒。如果没有安装psutil包，也许会更长。

从结果可以看出，内存使用是以MiB为单位衡量的，表示的mebibyte（1MiB = 1.05MB）。
7. 使用guppy包

最后，通过这个包可以知道在代码执行的每个阶段中，每种类型（str、tuple、dict等）分别创建了多少对象。

安装方法如下：
 

?

1	$ pip install guppy

接着，将其添加到代码中：
 

?

1 2 3 4 5 6 7 8 9 10 11 12

from guppy import hpy    def random_sort3(n):    hp = hpy()    print "Heap at the beginning of the functionn" , hp.heap()    l = [random.random() for i in range (n)]    l.sort()    print "Heap at the end of the functionn" , hp.heap()    return l    if __name__ = = "__main__" :    random_sort3( 2000000 )

运行代码：
 

?

1	$ python timing_functions.py

可以看到输出结果为：

通过在代码中将heap()放置在不同的位置，可以了解到脚本中的对象创建和删除操作的流程。