Python使用Cython实例,速度提升150倍以上

听过很多人说python速度慢,难以用于正式项目。本文介绍运用Cython编程,令Python代码的运行速度能提升数倍至数百倍。

1. 什么是 Cython?

Cython是Python编程语言的一个超集,它在Python和C/C++之间起着中间人的作用。Cython 允许python 与 C 风格代码混合编程,将C语句代码编译为静态格式,Python解释器运行时动态调用。当然,这意味着Cython永远不可能比C/C++快,稍微会慢一点。

目前,有许多知名的Python库,如NumPy和Pandas已经使用Cython来提高性能。也说明学习它很值得。下面我将演示如何用cython来改写1个python函数,并编译为二进制文件,测试比较前后性能变化。

2. 用 Cython 编写1个函数

1) 安装 cython

建议使用Python3.9 以上版本

pip3 install cython

2) 先编写1个纯python函数

我们编写1个函数,求圆周率近似值,数学公式如下
在这里插入图片描述
下面代码使用纯python实现此计算,默认n = 10000000, 并导入cProfile 模块来计算各函数消耗时间。

# 文件名: pi.py
import cProfile

def recip_square(i):
    return 1. / i ** 2

def approx_pi(n=10000000):
    val = 0.
    for k in range(1, n + 1):
        val += recip_square(k)
    pi = (6 * val) ** .5
    print("Approximate value of pi is: ", pi)
    return pi

if __name__ == '__main__':
	# 计算PI, 并统计耗时
    cProfile.run('approx_pi(10000000)')

3)使用cython重写该函数

cython 编程就是在python中使用C类型来申明变量,要先申明再使用。允许导入 C++原码。cython 代码的后缀名为 .pyx.
用cython语法来编写计算圆周率的函数,保存在cpi.pyx文件中。

# 文件名 cpi.pyx 
# cython: profile=True
cimport cython

@cython.profile(False)
cdef inline double recip_square(long long i):
    return 1.0 / (i * i)

def approx_pi(int n=10000000):
    cdef double val = 0.
    cdef int k
    for k in range(1, n + 1):
        val += recip_square(k)
    pi = (6 * val) ** .5
    print("Approximate value of pi is: ", pi)
    return pi

下面分析这段代码:

    cdef double val = 0.
    cdef int k

其中 double, int 是 C 语言浮点数、整数类型, cdef 表示使用静态编译

cdef inline double recip_square(long long i)

函数定义时,也用C类型申明参数类型,以及返回值类型.

def approx_pi(int n=10000000):

approx_pi函数名前面无 cdef ,表示这个函数不是纯C函数,在运行时会按python方式运行,解释器执行到 cdef double val = 0. 语句时,会从编译后的pyd动态链接库中调用C语句。
因为循环体内用到的变量与函数都是C语句,所以它的速度是非常快的。 函数的返回值 pi 变量是1个python变量。 但只调用了2次,因此对总体速度影响非常有限。

4) 编译 .pyx 文件

Cython 使用Python最通用的 setuptools 构建工具进行编译,但必须提前安装好C++编译器,linux上安装gcc, Windows 系统安装Visual Studio 或者minGW均可。
第1步,按setuptools 要求,编写setup.py构建脚本,setup.py构建的详细配置不赘述了,仅说明与cython相关的配置

# setup.py
from setuptools import setup
# 导入Cython 构建相关模块
from Cython.Build import cythonize

setup(
    ext_modules=cythonize("cpi.pyx"),
)

其中 ext_modules=cythonize("cpi.pyx") ,告知setuptools ,将cpi.pyx 按c来编译。

第2步,执行编译

python setup.py build_ext --inplace

会先转为 cpi.c 文件,再用C++编译器将 .c文件编译为动态链接库.pyd, linux则为.so。

3. 运行cython 函数

1) 导入 cython 模块

编写1个python测试函数,导入编译后的cython模块, 用 cProfile 模块收集运行时间

# test_cpi.py
import cpi
import cProfile

cProfile.run('cpi.approx_pi()')

2) 运行cython 函数

执行该函数,总耗时 0.042秒

python test_cpi.py
Approximate value of pi is:  3.1415925580959025
         5 function calls in 0.042 seconds

   Ordered by: standard name

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    0.042    0.042 <string>:1(<module>)
        1    0.042    0.042    0.042    0.042 cpi.pyx:15(approx_pi)
        1    0.000    0.000    0.042    0.042 {built-in method builtins.exec}
        1    0.000    0.000    0.042    0.042 {cython_demo.cpi.approx_pi}
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

4. 与纯python函数进行性能比较

1) 运行纯python函数

执行python函数,总耗时 6.287秒,

python pi.py
Approximate value of pi is:  3.1415925580959025
         10000005 function calls in 6.287 seconds

   Ordered by: standard name

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)       
        1    0.000    0.000    6.287    6.287 <string>:1(<module>)
 10000000    3.944    0.000    3.944    0.000 pi.py:2(recip_square)
        1    2.343    2.343    6.287    6.287 pi.py:5(approx_pi)
        1    0.000    0.000    6.287    6.287 {built-in method builtins.exec} 
        1    0.000    0.000    0.000    0.000 {built-in method builtins.print}
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

2) 比较结果

结果相比较, 6.287 / 0.042 = 150 倍
这个计算圆周率的函数,用cython语法简单改写后,性能提升了150倍。

5. 总结

从示例可以看出,密集运算的函数经过cython简单添加了C类型申明后,并没有增加更多代码,但速度提升非常明显,可以说,Cython是提升Python程序性能的最佳方式,因此值得深入学习,并在实际项目上运用。

使用cython时的一些建议,供参考:
1) cython语法相比python基本语法,学习难度略微增加,建议理解原理后,多做几遍练习。
2) 只在少数代码中使用cython, 主要是运算很重的函数或类。
3)在I/O密集型函数中使用cytthon效果不明显,或者可能没什么效果,如网络消息收发,大文件读写。

Cython中文文档:在线阅读(Gitee)

  • 3
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Mask R-CNN 是一种用于目标检测和实例分割的深度学习模型。在 Python使用 Mask R-CNN,需要先搭建环境,然后安装必要的库,最后编写代码。 以下是使用 Python 编写 Mask R-CNN 实例的步骤: 1. 安装 Anaconda 首先需要安装 Anaconda,Anaconda 是一个流行的 Python 数据科学平台,可以方便地安装和管理 Python 包和依赖项。官网链接:https://www.anaconda.com/products/individual 2. 创建虚拟环境 在 Anaconda 中创建一个虚拟环境,以便在其中安装所需的库和依赖项。在 Anaconda Prompt 或终端中运行以下命令: ```bash conda create --name maskrcnn python=3.6 ``` 这将创建一个名为 maskrcnn 的虚拟环境,并使用 Python 3.6。 3. 激活虚拟环境 在创建虚拟环境后,需要激活它。在 Anaconda Prompt 或终端中运行以下命令: ```bash conda activate maskrcnn ``` 4. 安装必要的库 在激活虚拟环境后,需要安装必要的库和依赖项。以下是需要安装的库: - NumPy - SciPy - Matplotlib - TensorFlow - Keras - Cython - Pillow - scikit-image 可以使用以下命令来安装这些库: ```bash conda install numpy scipy matplotlib tensorflow keras cython pillow scikit-image ``` 5. 克隆 Mask R-CNN 代码 Mask R-CNN 代码存储在 GitHub 上,可以使用以下命令将其克隆到本地: ```bash git clone https://github.com/matterport/Mask_RCNN.git ``` 6. 安装 Mask R-CNN 进入 Mask R-CNN 目录,运行以下命令来安装 Mask R-CNN: ```bash cd Mask_RCNN python setup.py install ``` 7. 下载预训练权重 在使用 Mask R-CNN 进行目标检测或实例分割之前,需要下载预训练权重。可以在以下链接中找到预训练权重:https://github.com/matterport/Mask_RCNN/releases 下载预训练权重后,将其放入 Mask R-CNN 目录中。 现在,环境已经设置好了,可以开始编写代码。以下是一个简单的 Mask R-CNN 实例: ```python import os import sys import random import math import numpy as np import skimage.io import matplotlib import matplotlib.pyplot as plt # Root directory of the project ROOT_DIR = os.path.abspath("./Mask_RCNN") # Import Mask RCNN sys.path.append(ROOT_DIR) from mrcnn import utils import mrcnn.model as modellib from mrcnn import visualize # Import COCO config sys.path.append(os.path.join(ROOT_DIR, "samples/coco/")) # To find local version import coco # Directory to save logs and trained model MODEL_DIR = os.path.join(ROOT_DIR, "logs") # Local path to trained weights file COCO_MODEL_PATH = os.path.join(ROOT_DIR, "mask_rcnn_coco.h5") # Download COCO trained weights from Releases if needed if not os.path.exists(COCO_MODEL_PATH): utils.download_trained_weights(COCO_MODEL_PATH) # Directory of images to run detection on IMAGE_DIR = os.path.abspath("./images") class InferenceConfig(coco.CocoConfig): # Set batch size to 1 since we'll be running inference on # one image at a time. Batch size = GPU_COUNT * IMAGES_PER_GPU GPU_COUNT = 1 IMAGES_PER_GPU = 1 config = InferenceConfig() config.display() # Create model object in inference mode. model = modellib.MaskRCNN(mode="inference", model_dir=MODEL_DIR, config=config) # Load weights trained on MS-COCO model.load_weights(COCO_MODEL_PATH, by_name=True) # COCO Class names # Index of the class in the list is its ID. For example, to get ID of # the teddy bear class, use: class_names.index('teddy bear') class_names = ['BG', 'person', 'bicycle', 'car', 'motorcycle', 'airplane', 'bus', 'train', 'truck', 'boat', 'traffic light', 'fire hydrant', 'stop sign', 'parking meter', 'bench', 'bird', 'cat', 'dog', 'horse', 'sheep', 'cow', 'elephant', 'bear', 'zebra', 'giraffe', 'backpack', 'umbrella', 'handbag', 'tie', 'suitcase', 'frisbee', 'skis', 'snowboard', 'sports ball', 'kite', 'baseball bat', 'baseball glove', 'skateboard', 'surfboard', 'tennis racket', 'bottle', 'wine glass', 'cup', 'fork', 'knife', 'spoon', 'bowl', 'banana', 'apple', 'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza', 'donut', 'cake', 'chair', 'couch', 'potted plant', 'bed', 'dining table', 'toilet', 'tv', 'laptop', 'mouse', 'remote', 'keyboard', 'cell phone', 'microwave', 'oven', 'toaster', 'sink', 'refrigerator', 'book', 'clock', 'vase', 'scissors', 'teddy bear', 'hair drier', 'toothbrush'] # Load a random image from the images folder file_names = next(os.walk(IMAGE_DIR))[2] image = skimage.io.imread(os.path.join(IMAGE_DIR, random.choice(file_names))) # Run detection results = model.detect([image], verbose=1) # Visualize results r = results[0] visualize.display_instances(image, r['rois'], r['masks'], r['class_ids'], class_names, r['scores']) ``` 以上代码使用了 Mask R-CNN 模型对一张随机图片进行目标检测,并使用可视化工具显示结果。在运行代码前,需要将图片放入 IMAGES_DIR 目录中。 可以根据需要修改代码中的参数和配置,以适应不同的需求。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值