深度剖析CPython解释器3(1)

1. Python 和 C / C++ 联合编程 

一、楔子

Python 和 C / C++ 混合编程已经屡见不鲜了，那为什么要将这两种语言结合起来呢？或者说，这两种语言混合起来能给为我们带来什么好处呢？首先，Python 和 C / C++ 联合，无非两种情况。

• 1. C / C++ 为主导的项目中引入 Python;
• 2. Python 为主导的项目中引入 C / C++;

首先是第一种情况，因为 C / C++ 是编译型语言，而它们的编译调试的成本是很大的。如果用 C / C++ 开发一个大型项目的话，比如游戏引擎，这个时候代码的修改、调试是无可避免的。而对于编译型语言来说，你对代码做任何一点改动都需要重新编译，而这个耗时是比较长的，所以这样算下来成本会非常高。这个时候一个比较不错的做法是，将那些跟性能无关的内容开放给脚本，可以是 Lua 脚本、也可以是 Python 脚本，而脚本语言不需要编译，我们可以随时修改，这样可以减少编译调试的成本。还有就是引入了 Python 脚本之后，我们可以把 C / C++ 做的更加模块化，由 Python 将 C / C++ 各个部分联合起来，这样可以降低 C / C++ 代码的耦合度，从而加强可重用性。

然后是第二种情况，Python 项目中引入 C / C++。我们知道 Python 的效率不是很高，如果你希望 Python 能够具有更高的性能，那么可以把一些和性能相关的逻辑使用 C / C++ 进行重写。此外，Python 有大量的第三方库，特别是诸如 Numpy、Pandas、Scipy 等等和科学计算密切相关的库，底层都是基于 C / C++ 的。再比如机器学习，底层核心算法都是基于 C / C++ 编写的，然后在业务层暴露给 Python 去调用，因此对于一些需要高性能的领域，Python 是必须要引入 C / C++ 的。此外 Python 还有一个最让人诟病的问题，就是由于 GIL 的限制导致 Python 无法有效利用多核，而引入 C / C++ 可以绕过 GIL 的限制。

此外有一个项目叫做 Cython，从名字你就能看出来这是将 Python 和 C / C++ 结合在了一起，之所以把它们结合在一起，很明显，因为这两者不是对立的，而是互补的。Python 是高阶语言、动态、易于学习，并且灵活。但是这些优秀的特性是需要付出代价的，因为 Python 的动态性、以及它是解释型语言，导致其运行效率比静态编译型语言慢了好几个数量级。而 C / C++ 是非常古老的静态编译型语言，并且至今也被广泛使用。从时间来算的话，其编译器已有将近半个世纪的历史，在性能上做了足够的优化。而 Cython 的出现，就是为了让你编写的代码具有 C / C++ 的高效率的同时，还能有 Python 的开发速度。

而笔者本人是主 Python 的，所以我们只会介绍第二种，也就是 Python 项目中引入 C / C++。而在 Python 中引入 C / C++，也涉及两种情况。第一种是，Python 通过 ctypes 模块直接调用 C / C++ 编写好的动态链接库，此时不会涉及任何的 Python / C API，只是单纯的通过 ctypes 模块将 Python 中的数据转成 C 中的数据传递给函数进行调用，调用完之后再将返回值转成 Python 中的数据。因此这种方式它和 Python 底层提供的 Python / C API 无关，和 Python 的版本也无关，因此会很方便。但很明显这种方式是有局限性的，至于局限性在哪儿，我们后面慢慢聊，因此还有一种选择是通过 C / C++ 为 Python 编写扩展模块的方式，来在 Python 中引入 C / C++，比如 OpenCV。

无论是 ctypes 调用动态链接库，还是 C / C++ 为 Python 编写扩展模块，我们都会介绍。

二、环境准备

首先是 Python 的安装，估计这应该不用我说了，我这里使用的 Python 版本是 3.8.7。

然后重点是 C / C++ 编译器的安装，我这里使用的是 64 位的 Windows 10 操作系统，所以我们需要手动安装相应的编译环境。可以下载一个 gcc，然后配置到环境变量中，就可以使用了。

或者安装 Visual Studio，我的 Visual Studio 版本是 2017，在命令行中可以通过 cl 命令进行编译。

当然这两种命令的使用方式都是类似的，或者你也可以使用 Linux，比如 CentOS，基本上自带 gcc。当然 Linux 的话，环境什么的比较简单，这里就不再废话了。重点是如果你是在 Windows 上使用 Visual Studio 的话，在命令行中输入命令 cl，很可能会提示你命令找不到；再或者编译的时候，会提示你 fatal error 不包括路径集等等。出现以上问题的话，说明你的环境变量没有配置正确，下面来说一下环境变量的配置。再次强调，我操作系统是 64 位 Windows 10，Visual Studio 版本是 2017，相信大部分人应该我是一样的，如果完全一样的话，那么路径啥的应该也是一致的，当然最好还是检查一下。

首先在 path 中添加如下几个路径：

• C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Tools\MSVC\14.16.27023\bin\Hostx64\x64
• C:\Program Files (x86)\Windows Kits\10\bin\10.0.17763.0\x64
• C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\Common7\IDE

然后，新建一个环境变量