pybind11以及打包学习

pybind11以及打包学习

前言

最近在看fasttext，看到使用pybind11把c++代码封装了一下，然后打包后安装，python可以直接调用，非常方便，有点兴趣，手动试了简单例子，本篇没啥干货，简单记录下实现过程。

一 pybind11

c/c++代码都是用pybind11封装，可以直接用pip安装即可，官方给出的入门示例十分简单：

#include <pybind11/pybind11.h>

int add(int i, int j) {
    return i + j;
}
PYBIND11_MODULE(example, m) {
    m.doc() = "pybind11 example plugin"; // optional module docstring
    m.def("add", &add, "A function which adds two numbers");
}

其中，add函数为c函数，也是需要导出的函数功能。PYBIND11_MODULE功能就是负责导出模块，第一个为宏参数(不需要双引号,setup.py中有参数对应)，第二个参数就代表模块对象(py::module)。m.def负责定义需要导出的函数。官网强调，pybind是头文件依赖，即只需要指定头文件即可，不需要其它类库。

这样看，功能封装确实挺简单，下载官网上提供的python_example示例，直接进入根目录，用pip install . ，编译安装都搞定，然后运行示例中的测视例test.py, 感受一下使用的情况：

import python_example as m

assert m.__version__ == '0.0.1'
assert m.add(1, 2) == 3
assert m.subtract(1, 2) == -1

这里说下示例，编译的时候有一行会报语法错误：

m.attr("__version__") = VERSION_INFO;

这里应该是编译器认为用double类型给字符串赋值了，所以总是报错，搜了一下转字符串的宏：

#define STR1(R)  #R
#define STR2(R) STR1(R)

然后调用STR2转换一下就行了。

二 打包

打包主要借助setuptools提供的接口，需要的操作都在setup.py中定义，然后用pip安装。还是拿python_example当例子：

ext_modules = [
    Extension(
        'python_example',
        # Sort input source files to ensure bit-for-bit reproducible builds
        sorted(['src/main.cpp']),
        include_dirs=[
            # Path to pybind11 headers
            get_pybind_include(),
        ],
        language='c++'
    ),
]

这个就是定义需要导出模块的一些信息，包括模块宏名，前面提到的PYBIND11_MODULE的第一个参数就是对应的Extension的第一个参数的名字，如果两者不一致，会导致编译错误；第二个参数定义了需要编译的源文件; include_dirs是依赖的头文件；language指定源语言。

class BuildExt(build_ext):
    """A custom build extension for adding compiler-specific options."""
    def build_extensions(self):
        for ext in self.extensions:
            ext.define_macros = [('VERSION_INFO', '{}"'.format(self.distribution.get_version()))]
            ext.extra_compile_args = opts
            ext.extra_link_args = link_opts
        build_ext.build_extensions(self)

这个就是自定义模块编译地方，对于每个自定义的模块(即前面的ext_modules)，在build_extensions函数中，可以对每个模块指定一些宏定义(define_macros)、编译参数(extra_compile_args)以及链接参数(extra_link_args)等, 用于模块编译的需要。

而最后一部分setup对象:

setup(
    name='python_example',
    version=__version__,
    author='Sylvain Corlay',
    author_email='sylvain.corlay@gmail.com',
    url='https://github.com/pybind/python_example',
    description='A test project using pybind11',
    long_description='',
    ext_modules=ext_modules,
    setup_requires=['pybind11>=2.5.0'],
    cmdclass={'build_ext': BuildExt},
    zip_safe=False,
)

定义了模块的一些信息，如模块名(import时使用)，作者，版本号之类的，其中需要关注的是cmdclass参数，这里指定了模块编译需要使用的类。整个setup.py核心内容就这些，是不是感觉也不复杂？

对了，有的同学可能会问，c/c++编译器好像没指定哦？是的，这个交给setuptools去干了，官网介绍是setuptools会找到当初安装python的那套环境去编译这些模块，也就是既然python都装上了，默认你的机器上编译环境应该是可以编译这些自定义模块的。

总结

总体来说，使用起来感觉挺方便的。但是对我来讲，最起码暴露了一个问题，c/c++好久没用了，上面那个示例编译错误，搞挺久才搞定，技艺生疏了。另外，更底层的流程，还是一窍不通，比如，python函数调用是怎么调用到c/c++库中去的，模块到底是怎么定义的(我没找到编译出来的库文件)，有时间再继续扒吧。

附录

pybind11源码

pybind11官方文档

python_example源码