用 Psyco让Python运行得像C一样快

最新推荐文章于 2021-03-31 07:00:00 发布

roszhaodan481

最新推荐文章于 2021-03-31 07:00:00 发布

阅读量491

点赞数

本文链接：https://blog.csdn.net/roszhaodan481/article/details/26528589

版权

本文探讨了如何加速Python程序，特别是针对那些运行缓慢的任务。除了优化算法和数据结构，还可以通过编写C扩展模块或使用Pyrex来提升性能。文章重点介绍了Psyco扩展，它能在运行时自动将Python字节码转换为优化的机器代码，从而显著提高程序执行速度，且无需更改源代码。

摘要由CSDN通过智能技术生成

原文：http://www.verydemo.com/demo_c122_i19310.html

Python 的设计在很多方面都类似于 Java 的设计。两者都利用了解释专门的伪编译字节码的虚拟机。JVM 比 Python 更高级的一个方面在于优化了字节码的执行。Psyco，一种 Python 专用编译器，帮助平衡了这一竞争。Psyco 现在是个外部模块，但是在将来的某一天它可能会包括到 Python 本身中去。只需极少量的额外编程，通常就可以使用 Psyco 将 Python 代码的速度提高好几个数量级。在本文中，David Mertz 研究了 Psyco 是什么，并在一些应用程序中对它进行了测试。

Python 对于您想让它做的事来说通常够快了。编程新手对于类似 Python 这样的解释型／字节编译型语言，将 90％的关注点集中在执行速度方面，是相当幼稚的。在最新的硬件上，大多数非优化的 Python 程序运行的速度和所需要达到的速度一样快，而且，花费额外的编程工作以使应用程序运行得更快实在没什么意义。

因此，在本文，我只对其它的百分之十感兴趣。有时，Python 程序（或用其它语言编写的程序）也会运行得极其缓慢。不同的目的所需要的改进差异很大；提高只运行几毫秒的任务的性能极少能引人注目，但是加快那些需运行几分钟、几小时、几天甚至几星期的任务的速度通常是很值得的。而且，应该注意到并不是所有任务运行缓慢的原因都是由 CPU 引起的。例如，如果完成一个数据库查询要花费几个小时，那么处理结果数据集要花费一分钟还是两分钟就没什么差别了。本文同样不讨论与 I/O 有关的问题。

有很多方法可以加速 Python 程序。每个程序员都应当想到的第一种技术就是改进所使用的算法和数据结构。对低效算法步骤进行细微的优化是徒劳无益的事情。例如，如果当前技术的复杂性等级是 O(n**2)，那么将这些步骤加速 10 倍远不及寻找 O(n) 替代品来得有用。即使在考虑用汇编语言重写算法这种极端情况时，这种思想也都适用：Python 中正确的算法通常会比手工调优的汇编语言中的错误算法快得多。

第二种您应当首先考虑的技术是概要分析您的 Python 应用程序，要着眼于将关键部分重写成 C 扩展模块。使用像 SWIG 这样的扩展封装器（请参阅参考资料），可以创建 C 扩展，它将程序中最耗时元素作为 C 代码执行。以这种方式扩展 Python 相对简单，但要花些时间学习（并且需要了解 C 的知识）。您经常会发现执行 Python 应用程序所花费的时间绝大部分只是花在了几个函数上，因此，采用这种扩展可能会有很可观的“成果”。

第三种技术建立在第二种技术的基础之上。Greg Ewing 已经创建了名叫 Pyrex 的语言，该语言融合了 Python 和 C。特别地，要使用 Pyrex，需要用类似 Python 的语言编写函数，这种语言将类型声明添加到所选变量中。Pyrex（工具）将“.pyx”文件处理成“.c”扩展名的文件。一旦用 C 编译器进行了编译，就可以将这些 Pyrex（语言）模块导入常规的 Python 应用程序并使用。由于 Pyrex 使用的语法和 Python 本身的语法（包括循环、分支和异常语句、赋值方式、块缩进等等）几乎一样，因此 Pyrex 程序员不需要学会用 C 去编写扩展。而且，与直接用 C 编写扩展相比，Pyrex 允许在同一代码中更无缝地混合 C 级别的变量和 Python 级别的变量（对象）。

最后一种技术就是本文的主题。扩展模块 Psyco 可以插入 Python 解释器的内部，而且可以有选择性地用优化的机器代码去替换部分 Python 的解释型字节码。和所描述的其它技术不同，Psyco 是严格地在 Python 运行时进行操作的。也就是说，Python 源代码是通过 python 命令编译成字节码的，所用的方式和以前完全相同（除了为调用 Psyco 而添加的几个 import 语句和函数调用）。但是当 Python 解释器运行应用程序时，Psyco 会不时地检查，看是否能用一些专门的机器代码去替换常规的 Python 字节码操作。这种专门的编译和 Java 即时编译器所进行的操作非常类似（一般地说，至少是这样），并且是特定于体系结构的。到现在为止，Psyco 只可用于 i386 CPU 体系结构。Psyco 的妙处在于可以使用您一直在编写的 Python 代码（完全一样！），却可以让它运行得更快。

要完全理解 Psyco，您可能需要很好地掌握 Python 解释器的 eval_frame() 函数和 i386 汇编语言。遗憾的是，我自己不能对其中任何一项发表专家性的意见－但是我想我可以大致不差地概述 Psyco。

在常规的 Python 中， eval_frame() 函数是 Python 解释器的内循环。 eval_frame() 函数主要察看执行上下文中的当前字节码，并将控制向外切换到一个适合实现该字节码的函数。支持函数将做什么的具体细节通常取决于保存在内存中的各种 Python 对象的状态。简单点说，添加 Python 对象“2”和“3”和添加对象“5”和“6”会产生不同的结果，但是这两个操作都以类似的方式分派。