5个小技巧提升Python运行速度

官方原文,代码均可运行

Python 是世界上使用最广泛的编程语言之一。它是一种解释型高级通用编程语言,具有广泛的用途,几乎可以将其用于所有事物。其以简单的语法、优雅的代码和丰富的第三方库而闻名。python除了有很多优点外,但在速度上还有一个非常大的缺点。

虽然Python代码运行缓慢,但可以通过下面分享的5个小技巧提升Python运行速度!

首先,定义一个计时函数timeshow,通过简单的装饰,可以打印指定函数的运行时间。

这个函数在下面的例子中会被多次使用。

def timeshow(func):
    from time import time
    def newfunc(*arg, **kw):
        t1 = time()
        res = func(*arg, **kw)
        t2 = time()
        print(f"{func.__name__: >10} : {t2-t1:.6f} sec")
        return res
    return newfunc

@timeshow
def test_it():
    print("hello pytip")

test_it()

1. 选择合适的数据结构

使用正确的数据结构对python脚本的运行时间有显着影响。Python 有四种内置的数据结构:

  • 列表: List
  • 元组: Tuple
  • 集合: Set
  • 字典: Dictionary

但是,大多数开发人员在所有情况下都使用列表。这是不正确的做法,应该根据任务使用合适数据结构。

运行下面的代码,可以看到元组执行简单检索操作的速度比列表快。其中dis模块反汇编了一个函数的字节码,这有利于查看列表和元组之间的区别。

import dis
def a():
    data = [1, 2, 3, 4, 5,6,7,8,9,10]
    x =data[5]
    return x
def b():
    data = (1, 2, 3, 4, 5,6,7,8,9,10)
    x =data[5]
    return x

print("-----:使用列表的机器码:------")
dis.dis(a)
print("-----:使用元组的机器码:------")
dis.dis(b)

运行输出:

    -----:使用列表的机器码:------
      3           0 LOAD_CONST               1 (1)
                  2 LOAD_CONST               2 (2)
                  4 LOAD_CONST               3 (3)
                  6 LOAD_CONST               4 (4)
                  8 LOAD_CONST               5 (5)
                 10 LOAD_CONST               6 (6)
                 12 LOAD_CONST               7 (7)
                 14 LOAD_CONST               8 (8)
                 16 LOAD_CONST               9 (9)
                 18 LOAD_CONST              10 (10)
                 20 BUILD_LIST              10
                 22 STORE_FAST               0 (data)
    
      4          24 LOAD_FAST                0 (data)
                 26 LOAD_CONST               5 (5)
                 28 BINARY_SUBSCR
                 30 STORE_FAST               1 (x)
    
      5          32 LOAD_FAST                1 (x)
                 34 RETURN_VALUE
    -----:使用元组的机器码:------
      7           0 LOAD_CONST               1 ((1, 2, 3, 4, 5, 6, 7, 8, 9, 10))
                  2 STORE_FAST               0 (data)
    
      8           4 LOAD_FAST                0 (data)
                  6 LOAD_CONST               2 (5)
                  8 BINARY_SUBSCR
                 10 STORE_FAST               1 (x)
    
      9          12 LOAD_FAST                1 (x)
                 14 RETURN_VALUE

看下列表的机器码,冗长而多余!

2. 善用强大的内置函数和第三方库

如果你正在使用python并且仍在自己编写一些通用函数(比如加法、减法),那么是在侮辱python。 Python有大量的库和内置函数来帮助你不用编写这些函数。 如果研究下,那么你会惊奇地发现几乎90%的问题已经有第三方包或内置函数来解决。

可以通过访问官方文档查看所有内置函数。你也可以在wiki python上找到更多使用内置函数的场景。

比如,现在我们想合并列表中的所有单词为一个句子,比较法自己编写和调用库函数的区别:

# ❌ 正常人能想到的方法
@timeshow
def f1(list):
    s =""
    for substring in list:
        s += substring
    return s

# ✅ pythonic 的方法
@timeshow
def f2(list):
    s = "".join(list)
    return s


l = ["I", "Love", "Python"] * 1000 # 为了看到差异,我们把这个列表放大了
f1(l)
f2(l)

运行输出:

        f1 : 0.000227 sec
        f2 : 0.000031 sec

3. 少用循环

  • 列表推导式 代替循环
  • 迭代器 代替循环
  • filter() 代替循环
  • 减少循环次数,精确控制,不浪费CPU
## 返回n以内的可以被7整除的所有数字。

# ❌ 正常人能想到的方法:
@timeshow
def f_loop(n): 
    L=[]
    for i in range(n):
        if i % 7 ==0:
            L.append(i)
    return L


#  ✅ 列表推导式
@timeshow
def f_list(n):
    L = [i for i in range(n) if i % 7 == 0]
    return L

# ✅  迭代器
@timeshow
def f_iter(n):
    L = (i for i in range(n) if i % 7 == 0)
    return L

# ✅ 过滤器 
@timeshow
def f_filter(n):
    L = filter(lambda x: x % 7 == 0, range(n))
    return L

# ✅ 精确控制循环次数 
@timeshow
def f_mind(n):
    L = (i*7 for i in range(n//7))
    return L

n = 1_000_000
f_loop(n)
f_list(n)
f_iter(n)
f_filter(n)
f_mind(n)

输出为:

    f_loop : 0.083017 sec
    f_list : 0.056110 sec
    f_iter : 0.000015 sec
  f_filter : 0.000003 sec
    f_mind : 0.000002 sec

谁快谁慢,一眼便知!

filter 配合lambda大法就是屌!!!

4. 避免循环重复计算

如果你有一个迭代器,必须用它的元素做一些耗时计算,比如匹配正则表达式。你应该将正则表达式模式定义在循环之外,因为最好只编译一次模式,而不是在循环的每次迭代中一次又一次地编译它。

只要有可能,就应该尝试在循环外进行尽可能多的运算,比如将函数计算分配给局部变量,然后在函数中使用它。

# ❌ 应改避免的方式:
@timeshow
def f_more(s):
    import re
    for i in s:
        m = re.search(r'a*[a-z]?c', i)


# ✅ 更好的方式:
@timeshow
def f_less(s):
    import re
    regex = re.compile(r'a*[a-z]?c')
    for i in s:
        m = regex.search(i)
s = ["abctestabc"] * 1_000
f_more(s)
f_less(s)

输出为:

    f_more : 0.001068 sec
    f_less : 0.000365 sec

5. 少用内存、少用全局变量

内存占用是指程序运行时使用的内存量。为了让Python代码运行得更快,应该减少程序的内存使用量,即尽量减少变量或对象的数量。

Python 访问局部变量比全局变量更有效。在有必要之前,应该始终尝试忽略声明全局变量。一个在程序中定义过的全局变量会一直存在,直到整个程序编译完成,所以它一直占据着内存空间。另一方面,局部变量访问更快,且函数完成后即可回收。因此,使用多个局部变量比使用全局变量会更好。

# ❌ 应该避免的方式:

message = "Line1\n"
message += "Line2\n"
message += "Line3\n"

# ✅ 更好的方式:

l = ["Line1","Line2","Line3"]
message = '\n'.join(l)


# ❌ 应该避免的方式:

x = 5
y = 6 
def add():
    return x+y
add()

# ✅ 更好的方式:

def add():
    x = 5
    y = 6
    return x+y
add()

小节

以上就是我们分享的5个加速python运行的小技巧,希望对你有用!

欢迎大家点赞、收藏,支持!

pythontip 出品,Happy Coding!

公众号: 夸克编程

  • 9
    点赞
  • 53
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python在处理大规模数据时,通常会比较慢。因此,为了提高性能,许多人会使用GPU进行加速计算。在Python中,可以使用许多库来实现GPU加速计算,例如Numba、PyCUDA和PyOpenCL等。 Numba是一个用于将Python代码编译成机器代码的库,它可以显著提高代码的运行速度。Numba支持使用CUDA和ROCm框架进行GPU加速计算。 下面是一个使用Numba进行GPU加速计算的例子: ```python import numpy as np from numba import jit, cuda # 声明函数为CUDA函数 @cuda.jit def add(a, b, c): # 获取线程索引 idx = cuda.threadIdx.x # 获取块索引 idy = cuda.blockIdx.x # 获取块大小 block_size = cuda.blockDim.x # 计算全局索引 index = idx + idy * block_size # 执行加法操作 c[index] = a[index] + b[index] # 定义数组的大小 N = 1024**2 # 定义输入数组 a = np.ones(N) b = np.ones(N) # 定义输出数组 c = np.zeros(N) # 定义块大小和线程大小 threads_per_block = 1024 blocks_per_grid = (N + (threads_per_block - 1)) // threads_per_block # 进行加法操作 add[blocks_per_grid, threads_per_block](a, b, c) # 输出结果 print(c) ``` 这个例子使用Numba将一个加法函数编译成CUDA函数,并在GPU上进行运算。可以看到,使用GPU加速计算的结果比使用CPU的结果要快得多。 在实际应用中,使用GPU加速计算的速度提升取决于数据的大小和计算的复杂度。对于一些简单的计算,使用GPU加速可能没有太大的优势。但是,对于一些大规模的、复杂的计算,使用GPU加速可以显著提高运算速度。 对于可视化方面,Python中有很多可视化库可以使用,例如Matplotlib、Seaborn和Plotly等。这些库通常不会直接使用GPU加速,但是可以使用一些技巧来提高可视化的速度。例如,可以使用多线程或多进程来加速计算,或者使用分布式计算来加速处理大规模数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值