无法使用zw选项编译c文件_第4篇:Cython编译细节详解

我们本篇通过创建质数列表的算法并编译它来加深读者对Cython编译原理的理解,但在你阅读此文之前,希望你的C/C++的基本功要扎实。

Cython源文件

Cython源文件名包含模块名称,后跟.pyx扩展名,例如,名为primer的模块将具有一个名为primer.pyx的源文件。

与Python不同,Cython代码必须编译。这分为两个阶段:

  • pyx文件由Cython编译为.c文件。
  • .c文件由C/C++编译器编译为.so文件(或Windows上的.pyd文件)

编写完.pyx文件后,有几种方法可以将其转换为扩展模块。
以下小节描述了构建扩展模块的几种方法,以及如何将指令传递给Cython编译器。

1. 从命令行编译

cython编译工具存在两个命令行工具cython和cythonize,我们下面会这个示例代码和例子

#cython:language_level=3

cython解析器选项

  • --include-dir:指定编译时包含的C/C++头文件或其他*.py或*.pyx文件
  • --output-file:指定解析后的C/C++源代码文件的所在路径
  • --working:指定cython解析器的工作目录
  • -2或-3:-2告知cython解析器以python2的方式理解python源代码,-3告知cython解析器以python3的方式去理解python源代码

abc1e746f3821c6b95f4758d33a6c191.png

我们使用以下指令将primer.pyx的源代码转换为C代码,如下图所示

cython primer.pyx -o ./src/primer.c -3

这将产生一个名为primer.c的文件,然后需要使用平台上适合生成扩展模块的任何选项,使用C编译器对其进行编译。 对于这些选项,请查看官方的Python文档。

67a034ee0310047c4132cbbd20cffc8f.png

较简单的命令行工具cython仅调用源代码转换器。

在手动编译的情况下,如何编译.c文件取决于操作系统和编译器。 用于编写扩展模块的Python文档应包含有关系统的一些详细信息。 例如,在Linux系统上,它可能类似于:

另一种可能更好的方法是使用Cython提供的setuptools扩展。 这种方法的好处是它将为平台提供特定的编译选项,就像简化的自动工具一样。

使用cythonize命令进行编译

cythonize -a -i primer.pyx

这将创建一个primer.c文件(或在C ++模式下为primer.cpp),对其进行编译,

  • 并将生成的扩展模块(.so或.pyd,具体取决于您的平台)从下图可知在当前目录生成了C/C++源文件和扩展模块。
  • -a开关还会生成带注释的源代码html文件。

5573c423f42f24a1dcee36d97977eef5.png

编译后,会将primer.cpython-36m-x86_64-linux-gnu(对于Windows可能为primer.cpython-36m-win64.pyd)文件写入目标目录,并且可以将您的模块primer.cpython-36m-x86_64-linux-gnu与其他任何Python模块一样导入。

注意:如果您不依赖cythonize或setuptools,您将不会自动受益于CPython为消除歧义而生成的特定于平台的文件扩展名

我们使用cythonize编译时,指定了-a命令行选项,因此编译完成后会生成一个编译后的html格式的分析报告,该文件中黄色的区域表示cython编译器已经命中该行并将该行对应的cython源代码转换为对应的C/C++代码,

6c6f269506089bc0cc925a998319f435.png

本例中primer.pyx由于变量和函数都使用cdef关键字显式指定了数据类型,因此几乎全覆盖地转换成C代码。该分析报告中的带有“+”号的行,我们展开会发现对应该行被Cython关键字cdef修饰的语句会被Cython编译器转换为对应的C/C++代码,如下图,通常只要在编译过程中没有出错,不需要理会生成的C代码。

8c171187c2cace47768c38e72ef2da64.png

使用setup.py编译

Cython提供的setuptools扩展允许您将.pyx文件直接传递到setup.py文件中的Extension构造函数。如果您要将单个Cython文件转换为已编译的扩展文件,这里文件名primer.pyx进行说明,则关联的setup.py将为:

1369093fb4a7d82489d64d2572931c54.png

如果您的构建以setup.py方式直接依赖于Cython,那么您编译的扩展需要打算分享到pip库可能还想告知pip,你扩展库的和其他扩展的依赖关系,请执行PEP 518https://www.python.org/dev/peps/pep-0518,Cython是setup.py执行所必需,创建一个pyproject.toml文件,其中至少包含:

[build-system]
requires = ["setuptools", "wheel", "Cython"]

备注:要更全面地了解setup.py,请参阅官方的setuptools文档。 要编译扩展名以在当前目录中使用,请使用:

python setup.py build_ext --inplace

以pyximport编译

这个这个笔者验证过,Jupyter交互环境下这个工具就是个坑货,并不是网上宣传那样:动态检查Cython源程序变更并自动编译,并不建议在Jupyter-Notebook环境下使用

小结

目前Cython的编译细节介绍到这里,对于日常简单的Python性能优化足以应付,因此本文不再往深入介绍,涉及到大规模部署Cython程序,需要用到复杂配置,我会在日后再补上。

如果Cython无法编译Python模块,则pyximport将转而加载源模块。注意,不建议让pyximport在最终用户侧构建代码,因为它会挂接到其导入系统中。 迎合最终用户的最佳方法是以wheel包装形式提供预制的二进制包装。

扩展阅读

  • https://cython.readthedocs.io/en/latest/src/userguide/source_files_and_compilation.html
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值