Python脚本分析CPU使用情况

在这篇文章中,我将讨论一个工具,用以分析Python中CPU使用情况。CPU分析是通过分析CPU执行代码的方式来测量代码的性能,以此找到代码中的不妥之处,然后处理它们。

接下来我们将看看如何跟踪Python脚本使用时CPU使用情况,重点关注以下几个方面:

1、cProfile

2、line_profiler

3、pprofile

4、vprof

测量CPU使用率

对于这篇文章,我将主要使用与内存分析中使用脚本相同的脚本,具体如下:

471c0002eaeaf2849b2a

另外,请记住,在PyPy2中,您需要使用与之配合的pip版本:

471e0002e61d473d7ce6

并且其他依赖项也将被安装:

471e0002e61e987632e1

cProfile

在讨论CPU分析时,最常用的工具之一是cProfile,主要是因为它内置在CPython2和PyPy2中。这是一个确定性的分析器,意味着在运行程序时会收集一组统计数据,例如我们代码的各个部分的执行次数或执行时间。此外,cProfile在系统上的开销比其他内置的分析器(配置文件)要低。

CPython2的用法很简单:

471d0002e23a5659d72c

如果您使用PyPy2:

47210000dca6f24315a3

其输出如下:

471d0002e23c3446be3b

即使使用这个文本输出,很容易看到我们的脚本多次调用了list.append方法。

如果我们使用gprof2dot,我们可以以图形的方式看到cProfile输出。要使用它,我们必须首先安装graphviz,之后是一些依赖包,最后在Ubuntu上使用如下命令:

471e0002e61f31c7a7b7

再次运行脚本:

471c0002eae718b93a77

我们得到以下output.png文件:

471f000293a6b61ab4e6

这样更容易看到一切。我们来仔细看看它的输出。您可以看到脚本中的函数调用如下:

1、第一行:Python文件名,行号和方法名称

2、第二行:代码块占用全部时间的百分比

3、第三行:括号中,方法本身占全部时间的百分比

4、第四行:调用函数的次数

例如,在顶部的第三个红色方块中,方法primes占用了98.28%的时间,其中65.44%的内容在其中进行,调用了40次。其余的时间花在Python中的list.append(22.33%)和range(11.51%)中。

作为一个简单的脚本,我们只需要重写我们的脚本,具体的如下所示:

4722000063aab8edfb26

如果我们使用CPython2测量我们脚本的时间,

471d0002e23b894b85d0

还有PyPy2:

471e0002e6208023a892

我们通过使用PyPy2的CPython2和3.1X获得了不错的效果,下面是cProfile的调用流程图:

471c0002eae92c7b660f

您还可以以编程方式使用cProfile,例如:

471f000293a50d9b3931

这在某些情况下很有用,例如多进程性能测量

line_profiler

此分析器在行级提供关于工作负载的信息。它使用Cython在C中实现,并将其与cProfile进行比较时发现其具有较小的开销。

源代码可以在这里找到,也可以在这里找到PyPI页面。与cProfile相比,它具有一样的开销,不过却要花费12倍的时间来获取配置文件。

要使用它,您需要先通过pip添加它:pip install pip install Cython ipython == 5.4.1 line_profiler(CPython2)。这个分析器的一个主要缺点是它不支持PyPy。

就像使用memory_profiler一样,您需要在要分析的函数中添加一个装饰器。在我们的例子中,您需要在03.primes-v1.py中定义我们的primes函数之前添加@profile。然后调用它:

47210000dca7cc2ce78f

你将得到如下输出:

4722000063ac170c2de4

我们看到,重复调用list.append的两个循环花了最多的时间。

pprofile

根据作者说明,pprofile是一个“线程测量和统计的纯python分析器”。

它受到line_profiler的启发,修复了很多缺点,但是由于它完全用Python编写,所以它也可以与PyPy成功使用。与cProfile相比,使用CPython时的分析时间要多28倍,而使用PyPy时,分析时间要多10倍,而且细节水平更加细化。

我们也支持PyPy!除此之外,它支持剖析线程,这在各种情况下可能会很方便。

要使用它,您需要先通过pip添加它:pip install pprofile(CPython2)/ pypy -m pip install pprofile(PyPy),然后调用它:

471f000293a8811dfe65

输出与我们以前看到的不同,我们得到如下结果:

471d0002e23fbced120b

我们现在可以更详细地看到一切。让我们来看看输出。您可以获得脚本的整个输出,并且在每行之前,您可以看到对其进行的调用次数,运行时间(秒),每次调用的时间和全局时间的百分比,pprofile为我们的输出添加了额外的行(如第44和50行,以(call)开头)与累积指标。

再次,我们看到,重复调用list.append的两个循环花了我们脚本中最多的时间。

vprof

vprof是一个Python分析器,为各种Python程序特性(如运行时间和内存使用)提供丰富的交互式可视化。它是一个基于Node.JS的图形化的显示在网页中的结果。

使用它,您可以看到与Python脚本相关的以下一个或全部:

1、CPU使用图

2、代码分析

3、内存图

4、代码热图

要使用它,您需要先通过pip添加它:pip install vprof(CPython2)/ pypy -m pip install vprof(PyPy),然后调用它:

在CPython2上,显示代码散热图(第一个调用如下)和代码分析(下面的第二个调用):

47210000dca8aafaef37

在PyPy上,显示代码散热图(第一个调用如下)和代码分析(下面的第二个调用):

4722000063ade9dcbea1

在每种情况下,您将看到代码散点图的以下内容

4722000063afcc771d17

以及代码分析的以下内容。

4720000281a998cc4d37

结果以图形方式看到,我们可以悬停鼠标或单击每行以获取更多信息。再次,我们看到,重复调用list.append的两个循环花了我们脚本中最多的时间。










本文转自 小强测试帮 51CTO博客,原文链接:http://blog.51cto.com/xqtesting/2046946,如需转载请自行联系原作者
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值