Python使用Numba装饰器进行加速

前言

• 由于本人水平有限，难免出现错漏，敬请批评改正。
• 更多精彩内容，可点击进入Python日常小操作专栏、OpenCV-Python小应用专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看
• 基于DETR的人脸伪装检测
• YOLOv7训练自己的数据集（口罩检测）
• YOLOv8训练自己的数据集（足球检测）
• YOLOv5：TensorRT加速YOLOv5模型推理
• YOLOv5：IoU、GIoU、DIoU、CIoU、EIoU
• 玩转Jetson Nano（五）：TensorRT加速YOLOv5目标检测
• YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制
• YOLOv5：yolov5s.yaml配置文件解读、增加小目标检测层
• Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
• YOLOv5：使用7.0版本训练自己的实例分割模型（车辆、行人、路标、车道线等实例分割）
• 使用Kaggle GPU资源免费体验Stable Diffusion开源项目

前提条件

• 熟悉Python

相关介绍

• Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。
• Python是一种非常流行和强大的编程语言，它有很多优点，比如简洁、易读、灵活、跨平台、丰富的库等。但是，Python也有一些缺点，其中之一就是运行速度相对较慢。
• Python为什么慢呢？这主要有以下几个原因：
  • Python是一种解释型语言，也就是说，它的代码在运行时才被解释器转换成机器语言，而不是像编译型语言那样，提前编译成可执行文件。这样就增加了运行时的开销，降低了执行效率。
  • Python使用了动态类型，也就是说，它的变量在运行时才确定类型，而不是像静态类型那样，提前声明类型。这样就增加了运行时的类型检查和转换，降低了执行效率。
  • Python使用了全局解释器锁（GIL），也就是说，它的多线程在同一时刻只能有一个线程执行，而不是像多核处理器那样，可以并行执行多个线程。这样就限制了Python的并发能力，降低了执行效率。
• Python的运行速度可以通过一些方法进行优化和加速，比如：
  • 使用PyPy，这是一种基于JIT（即时编译）技术的Python解释器，它可以在运行时动态编译Python代码，提高执行效率。
  • 使用Numba，这是一种基于LLVM（低级虚拟机）技术的Python库，它可以将Python函数编译成机器码，提高执行效率。
  • 使用Cython，这是一种基于C语言的Python扩展，它可以将Python代码转换成C代码，提高执行效率。
  • 使用多进程，这是一种利用多核处理器的并行计算方法，它可以创建多个进程，避免GIL的限制，提高执行效率。
• Numba是一个用于Python的开源即时编译器，它可以将Python代码编译为机器代码，从而提高Python代码的执行速度。
• Numba的优缺点：
  • 优点：
    • Numba可以显著提高Python代码的执行速度，特别是在处理大量数据时。
    • Numba使用LLVM（低级虚拟机）技术将Python函数编译成机器码，从而避免了Python解释器的性能瓶颈。
    • Numba可以通过使用JIT（Just-In-Time）编译技术，将Python代码转换为机器代码，即当你调用Python函数时，你的全部或部分代码就会被转换为“即时”执行的机器码，它将以你的本地机器码速度运行，从而避免了Python解释器的性能瓶颈。
    • Numba支持多种CPU架构和操作系统，包括x86、ARM和PowerPC。
    • Numba可以与NumPy和SciPy等科学计算库无缝集成。
  • 缺点：
    • Numba只能加速一部分Python代码，例如数值计算密集型代码，而对于I/O密集型代码，Numba的加速效果不明显。
    • Numba需要对代码进行修改，以便使用其加速功能，这可能需要一些额外的工作。
    • Numba的性能取决于代码的质量和结构，因此需要一定的编程经验和技能。
• 以下是一个简单的numba加速例子，它比较了使用numba和不使用numba的情况下，计算斐波那契数列的第n项的时间消耗。

import time
import numba

import warnings
warnings.filterwarnings('ignore')

# 不使用numba的函数
def fib(n):
    if n < 2:
        return n
    return fib(n-1) + fib(n-2)

# 使用numba的函数
@numba.jit
def fib_numba(n):
    if n < 2:
        return n
    return fib_numba(n-1) + fib_numba(n-2)

# 测试两个函数的运行时间
n = 40
start = time.time()
fib(n)
end = time.time()
print(f'不使用numba的时间：{end - start}秒')

start = time.time()
fib_numba(n)
end = time.time()
print(f'使用numba的时间：{end - start}秒')

不使用numba的时间：15.397910833358765秒
使用numba的时间：0.731497049331665秒

实验环境

• Python 3.x （面向对象的高级语言）
• Numba 0.58.1（Python第三方库）pip install numba -i https://pypi.tuna.tsinghua.edu.cn/simple
  

Numba装饰器进行加速

未加速的代码

import time

def one_cycle():
    num = 0  
    for i in range(1, 1000000):  
        num +=i
    return num

def double_cycle():
    num = 0 
    for i in range(1000):  
        for j in range(1000):
            num +=i*j
    return num  
              
def triple_cycle():
    num = 0
    for i in range(100):  
        for j in range(100):  
            for k in range(100):
                num += i*j*k
    return num        

if __name__=="__main__":
    start_time = time.time()
    for i in range(100):
        one_cycle()
    end_time = time.time()
    print("one_cycle函数运行时间:",(end_time-start_time)/100)

    start_time = time.time()
    for i in range(100):
        double_cycle()
    end_time = time.time()
    print("double_cycle函数运行时间:",(end_time-start_time)/100)

    start_time = time.time()
    for i in range(100):
        triple_cycle()
    end_time = time.time()
    print("triple_cycle函数运行时间:",(end_time-start_time)/100)

输出结果

one_cycle函数运行时间: 0.021781625747680663
double_cycle函数运行时间: 0.031956143379211426
triple_cycle函数运行时间: 0.042625854015350344

@numba.jit加速的代码

import time
import numba

import warnings
warnings.filterwarnings('ignore')

@numba.jit
def one_cycle():
    num = 0  
    for i in range(1, 1000000):  
        num +=i
    return num

@numba.jit
def double_cycle():
    num = 0 
    for i in range(1000):  
        for j in range(1000):
            num +=i*j
    return num  
              
@numba.jit
def triple_cycle():
    num = 0
    for i in range(100):  
        for j in range(100):  
            for k in range(100):
                num += i*j*k
    return num        

if __name__=="__main__":
    start_time = time.time()
    for i in range(100):
        one_cycle()
    end_time = time.time()
    print("one_cycle函数运行时间:",(end_time-start_time)/100)

    start_time = time.time()
    for i in range(100):
        double_cycle()
    end_time = time.time()
    print("double_cycle函数运行时间:",(end_time-start_time)/100)

    start_time = time.time()
    for i in range(100):
        triple_cycle()
    end_time = time.time()
    print("triple_cycle函数运行时间:",(end_time-start_time)/100)

输出结果

one_cycle函数运行时间: 0.002056455612182617
double_cycle函数运行时间: 0.00046929597854614255
triple_cycle函数运行时间: 0.0007887816429138183

• 由于本人水平有限，难免出现错漏，敬请批评改正。
• 更多精彩内容，可点击进入Python日常小操作专栏、OpenCV-Python小应用专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看
• 基于DETR的人脸伪装检测
• YOLOv7训练自己的数据集（口罩检测）
• YOLOv8训练自己的数据集（足球检测）
• YOLOv5：TensorRT加速YOLOv5模型推理
• YOLOv5：IoU、GIoU、DIoU、CIoU、EIoU
• 玩转Jetson Nano（五）：TensorRT加速YOLOv5目标检测
• YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制
• YOLOv5：yolov5s.yaml配置文件解读、增加小目标检测层
• Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
• YOLOv5：使用7.0版本训练自己的实例分割模型（车辆、行人、路标、车道线等实例分割）
• 使用Kaggle GPU资源免费体验Stable Diffusion开源项目