C-如何快速生成Python的C扩展.md

原文地址:

https://blog.52sox.com/shi-yong-cru-he-kuai-su-sheng-cheng-pythonde-ckuo-zhan

前言

在2021年即将过去的夜晚,没想到自己竟然会分享这样一篇文章。这么一篇浓缩了自己多年来项目开发的实战经验。
不得不说,Python是一门很不错的编程语言。有时候,为了项目代码安全考虑,会尝试将一些源代码使用Python提供的C API的方式进行编写,再将其编译为Python模块的方式,从而在Python中直接调用。

编译的一些技巧

对于Python的C API编写的代码,如果快速将其生成为Python对应的扩展库,如Linux下的.so或Windows下的.pyd。
主要有如下一些方法:

• 使用setuptools模块
• 使用scikit-build模块
• 使用cmake

实际上这些方法经常是在一起使用的。
对于手动编写setup.py文件,指定对应的要引入的头文件及链接库,对于中大型项目是不推荐的。

setuptools方式

在此之前,先使用如下的方式先生成1个C源文件:

pip install pyd-tpl
pyd-tpl hello

该模块是自己编写用于快速生成Python的C扩展文件的一个库。安装完成后,我们调用pyd-tpl命令会在当前目录下生成1个hello.c源文件及setup_hello.py文件。
我们可以直接执行如下的方式进行编译并生成1个hello模块:

python setup_hello.py

这是第1种使用setuptools生成模块的方式。下面主要介绍后面两种方式。

scikit-build方式

首先我们运行下面的命令安装对应的库:

pip install scikit-build cmake

由于scikit-build依赖于cmake,我们可以直接使用pip的方式安装该工具。
安装完成后,接着我们在setup.py中编写如下的代码:

from skbuild import setup

之后在项目目录下新建1个CMakeLists.txt,其内容如下:

cmake_minimum_required(VERSION 3.11.0)
project(hello VERSION 0.1.0)
find_package(PythonExtensions REQUIRED)
add_library("${PROJECT_NAME}" MODULE hello.c)
python_extension_module("${PROJECT_NAME}")
install(TARGETS hello LIBRARY DESTINATION hello)

这里我们设置我们项目的名称为hello,通过使用cmake提供的find_package指令寻找Python的扩展。之后通过add_library对hello.c文件编译,从而生成以项目名称命名的模块。
接着还需要在项目目录下创见1个pyproject.toml的文件,其内容如下:

[build-system]
requires = ["setuptools", "wheel", "scikit-build", "cmake", "ninja"]

之后我们运行如下的命令即可实现整个过程的自动编译:

python setup.py build

不过这种方式有个不好的地方在于,如果系统无法正常识别你的编译器,比如在Windows下我使用的是Visual Studio 2015,它并没有很好的识别出来。只能在Visual Studio 2015工具提供的菜单窗口下运行才行。
其过程如下图所示:

cmake原生方式

在cmake版本3.12开始,提供了1个非常好用的Python_add_library命令,详情可以参考。借助该命令,我们可以快速生成Python的C扩展。
我们只需要在上述CMakeLists.txt中的内容进行如下的修改:

cmake_minimum_required(VERSION 3.12.0)
project(hello VERSION 0.1.0)
find_package (Python3 COMPONENTS Development)
include_directories(${Python3_INCLUDE_DIRS})
Python3_add_library(hello MODULE hello.c)

该命令语法与add_library命令一样。在这里,我们使用的是Python3,因此在find_package命令中指定的使用Python3。
之后在Windows下创建1个build目录,并进入该目录中再执行如下命令:

mkdir build
cd build
cmake -G "Visual Studio 14 2015" -A x64 ..
cmake --build . --config Release

而对于Linux将相应的命令修改为:

cmake ..
make

通过cmake工具,这样我们就可以轻松地生成对应Python的hello.pyd及hello.so的C扩展。

后语

实际上,对于生成Python的C扩展还有1种方式就是将cmake与setup.py文件结合,通过setup.py文件中setup函数的cmdclass参数指定自定义1个cmake编译类。
实际上,在实际项目开发中,真的没必要搞得这么复杂,将1个非常简单的问题复杂化是得不偿失的。
这里就不展开介绍了,使用上述3种方法即可很轻松解决Python的C扩展编译的问题。其中最推荐使用第3种方式。