python 加速方法_24种方法加速你的Python

最新推荐文章于 2022-08-04 16:03:54 发布
最新推荐文章于 2022-08-04 16:03:54 发布
阅读量469 收藏 2
点赞数
文章标签： python 加速方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35531735/article/details/114913550
版权

一，分析代码运行时间

第1式，测算代码运行时间

平凡方法

2f4ea6fbda198867abe38fb5caf6cecf.png

快捷方法(jupyter环境)

749083e332a03fbb0e3bf78c00a8c36b.png

第2式，测算代码多次运行平均时间

平凡方法

027d9bd2957ed18e6bffd4ac497c821a.png

a692a7440c6629ad1b071fce5e610127.png

第3式，按调用函数分析代码运行时间

平凡方法

65d172e580667e7af9a830a6667cc581.png

b8f408ea724bf3648463987d2c69a09c.png

e274ca1b78da515c2d6a02ed6d0ea19b.png

第4式，按行分析代码运行时间

平凡方法

688e453b1c400d9280f1bb523bebf91e.png

9430fcfbd2c9532d78a48a4b63d572cb.png

c9328900c096ee7d8e3946ec67ba9182.png

二，加速你的查找

第5式，用set而非list进行查找

低速方法

641235256f4091523b12fa01c5935056.png

fc5bd613983ac8ac48f68aebcad324db.png

高速方法

b86e0c1c7e8daca1d4e187af2adc4cfd.png

第6式，用dict而非两个list进行匹配查找

低速方法

019623cc7cce45a378606ac774deab03.png

82ba8b603706c6dadf52054b68c2252a.png

高速方法

22664a6cce61a8c7d8a53c2a3bf75732.png

三，加速你的循环

第7式，优先使用for循环而不是while循环

低速方法

cb5e032eab0539e7dda7bcd59436c16a.png

高速方法

d7d9601e38244a1d3b0f758aef87e0a8.png

第8式，在循环体中避免重复计算

低速方法

6a1db51eacd0fc6aa8b2a4462b3ccab3.png

高速方法

e03a20da42c8a399e4c7e37ccd8e8b7a.png

四，加速你的函数

第9式，用循环机制代替递归函数

低速方法

1fb7462ed33d174f692aecd9c4eaed9f.png

高速方法

0a83aa8213a6f160577f45f09e79d640.png

第10式，用缓存机制加速递归函数

低速方法

27da547865736c074723b5393e486fb7.png

高速方法

9b185d8a983a8d5ddce3f781024673ca.png

第11式，用numba加速Python函数

低速方法

4b465c10a0c49502cf5eb1744f8d6d30.png

高速方法

1c2bc3c296ac7999e9d781e80194dfa0.png

五，使用标准库函数进行加速

第12式，使用collections.Counter加速计数

低速方法

fef22fa058a7e8c657aa3336c0579975.png

高速方法

e79e10f673adf60d4c06a81cdf93f377.png

第13式，使用collections.ChainMap加速字典合并

低速方法

e604974d899cbe6c567b1d8eb445f762.png

7e3282c5c711b8ce2facd688d7663179.png

高速方法

f2ca63288845f8bd9041fff17db65dca.png

六，使用高阶函数进行加速

第14式，使用map代替推导式进行加速

低速方法

f0e98d1c55e78da16d363371a18dce68.png

高速方法

78dbd703754d24ae8233c345fbee03b4.png

第15式，使用filter代替推导式进行加速

低速方法

fed5acc9a0923172b2d80612d688507e.png

高速方法

09efb2aa383926ac8ca6442e7742643c.png

七，使用numpy向量化进行加速

第16式，使用np.array代替list

低速方法

835d7a7d659763534453dad554d7516f.png

高速方法

03b55cd6b8cefcba2aa8b5ebbd3528d4.png

第17式，使用np.ufunc代替math.func

低速方法

1f3a6d55ba2dc196b860de0c9641b173.png

高速方法

8468e6d72a5db83744e4a90dd01c7e6c.png

第18式，使用np.where代替if

低速方法

544b8c86f60f6d12a155ce6c2fb5c44d.png

7c8e63039796eed95daa1d945f318926.png

高速方法

63c84f6f235502b2c150b189bc964fc9.png

八，加速你的Pandas

第19式，使用csv文件读写代替excel文件读写

低速方法

bd6436b24aee0b5b9b2c25ff2e9401a2.png

高速方法

bdac0e2d34d229e5702a87634a3c18a3.png

第20式，使用pandas多进程工具pandarallel

低速方法

6af67e728d84c286d137d01afe2cda1c.png

dd326602b53c9c3f7ae1241846bb9288.png

高速方法

9c730836dfd8b17380c77ecaa22ee9cf.png

九，使用Dask进行加速

第21式，使用dask加速dataframe

低速方法

a140e1aa71bf830cc8841e746dc2cbdc.png

高速方法

c6c6734fa5998b66c47176f3f971e83c.png

第22式，使用dask.delayed进行加速

低速方法

1349c2f4f97a782c8f4e1b987db09b16.png

6b805a28cf454271cae094c7a77dd05d.png

高速方法

453a518aab2e329a9ad2ef5d6d668926.png

十，应用多线程多进程加速

第23式，应用多线程加速IO密集型任务

低速方法

6839196723b667d9904362e182f02daa.png

高速方法

b551a814c7b084ac5a83b452c2615e14.png

第24式，应用多进程加速CPU密集型任务

低速方法

b53360610458986a1d776ce30d6cc9b4.png

高速方法

c256c4e5548d230bd64704b84a2e4ac7.png

sfhvz
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
干货技巧！不需要任何工具，让Python执行速度飞速提升
weixin_55551408的博客
03-30 276
对于Python程序来说，虽然程序编写简单，容易上手，但是相比于C++、Java等编程语言，Python程序的运行速度却没有优势。 虽然有很多的第三方库可以帮助提升Python的运行速度，但是使用起来非常的麻烦。今天，小编想从程序编写的角度，来提升程序的运行速度。 1.巧妙地利用Python的数据类型 在Python程序中，对于list列表进行 for i in list1的操作时，其时间复杂度为O(n)，而对于set进行for i in set1的操作，时间复杂度为O(1)。所以...
python生成密码字典太慢了,python生成密码字典的方法
weixin_33548923的博客
03-26 785
这里我使用的是python27主要用的是我之前博文里提到的itertools循环迭代的模块，用这个模块可以省不少事首先要调用itertoolsimport itertools as its然后将字典需要的元素(或者说是关键字)赋给word变量我们这里假设密码是纯数字，所以元素就是1234567890即代码words = "1234568790"假设密码是4位，那么需要元素在迭代器中循环4次，即r ...
使用numba对Python运算加速的方法
12-23
有时候需要比较大的计算量，这个时候Python的效率就很让人捉急了，此时可以考虑使用numba 进行加速，效果提升明显~ (numba 安装貌似很是繁琐，建议安装Anaconda，里面自带安装好各种常用科学计算库） from numba import jit @jit def t(count=1000): total = 0 for i in range(int(count)): total += i return total 测试效果： （关于__wrapped__ 见我的博文： 浅谈解除装饰器作用（python3新增） ） In [17]: %timeit -n 1 t._
给Python加速（性能加速的方法）
热门推荐
libra0的博客
12-18 2万+
转译解读首先提高代码的性能不能以改变代码功能为代价。简而言之，按照原文说的： １．首先将代码写对 ２．测试代码是否正确执行 ３．如果代码效率不高就分析是哪个部分造成的。 ４．优化这个部分 ５．从第二步开始重复这个部分 详细的解读包括：选择一个正确的数据结构。这个说法深有体会。Python中多变的数据结构可以造成很大的差异，使用一个set就可以事半功倍。甚至一个自己定义的数据结构，对于内存，运算速度，
python 加快计算速度_python怎么提高计算速度
weixin_39980929的博客
01-14 1102
下面是python中的一个函数计算代码：loops=25000000from math import*a=range(1,loops)def f(x):return 3*cos(x)+4*sin(x)**2%timeit r=(f(x) for x in a)效率：1000000 loops, best of 3: 552 ns per loop下面我们就来看一下提高计算速度的方法：1、使用数组i...
详解Python中__str__和__repr__方法的区别
12-25
一种常见的方法是直接在tmpfs文件夹中工作，然后把工作成果备份到磁盘上的一个文件夹中。当您的机器启动时你从那个备份文件夹恢复tmpfs文件夹。启动之后用cron同步tmpfs文件夹和磁盘文件夹。 我发现这个设置有点...
24式加速你的Python(小结)
09-19
以下是对24种方法的详细解释，旨在帮助你加速Python代码。 1. **代码运行时间分析**：使用`time`模块或`%timeit`（Jupyter环境）来测量单次运行时间和多次运行的平均时间，有助于识别性能瓶颈。 2. **查找操作优化...
Python加速程序运行的方法
09-16
以下是一些实用的Python加速程序运行的方法： 1. 使用函数：将代码组织成函数可以显著提高程序性能。全局范围内的代码执行速度较慢，因为全局变量的访问相比局部变量更耗时。将脚本中的代码封装进函数，利用局部...
为python安装pycuda模块让GPU加速numpy的运算
qq_34877350的博客
11-24 1万+
直接用pip来安装就好，pip install pycuda pycuda的使用请参考官方教程：https://documen.tician.de/pycuda/ 这里要说的是安装过程出现的问题，首先，可能会遇到gcc版本问题，这时候要确保gcc和g++是用的是同一个版本，关于gcc版本问题可参考我的博文： http://blog.csdn.net/qq_34877350/artic
用GPU加速python代码的运算速度
NotPerfect的博客
02-27 1万+
用GPU加速python代码的运算速度 1. Numba是什么？ Numba是一个库，可以在运行时将Python代码编译为本地机器指令，而不会强制大幅度的改变普通的Python代码（稍后再做说明）。翻译/魔术是使用LLVM编译器完成的，该编译器是相当活跃的开源社区开发的。 Numba最初是由Continuum Analytics内部开发，此公司也开发了著名的Anaconda，但现在它是开源的。核心...
python提高计算速度的几种方法---学习笔记26
云金杞
01-03 7268
原版方法： loops=25000000 from math import* a=range(1,loops) def f(x):     return 3*cos(x)+4*sin(x)**2 %timeit r=(f(x) for x in a) 效率： 1000000 loops, best of 3: 552 ns per loop 改进方法1、使用数组 impor
Numpy加速的关键 -- 使用优化的方法
搬砖小工053
10-23 5628
# -*- coding: utf-8 -*- """ Created on Sun Oct 23 20:05:57 2016@author: zang """import timeitnormal_py_sec = timeit.timeit('sum(x*x for x in xrange(1000))', number=10000) naive_np_sec = timeit.timeit('
加速Python运行的工具应用
Tony 's Blog 只为精进而生
12-05 2511
如果你需要让你的Python程序加速运行，在不同的层次有一些不同的解决方案： 重写 你的 Python 代码， 通过 并行化parallelizing 和 优化optimizing/替代replacing/调试tuning 运算方法,比如使用:  Hadoop 或者 Disco  MapReduce 的开源实现工具 Parallel Python Pyt
python多进程map比apply快_Python多处理队列比pool.map慢
weixin_42366752的博客
02-10 450
我最近开始尝试使用多处理来加速任务.我创建了一个执行模糊字符串匹配的脚本,并使用不同的算法计算得分(我想比较不同的匹配技术).你可以在这里找到完整的源代码：https://bitbucket.org/bergonzzi/fuzzy-compare/src.作为输入,它需要2个文件组合成对(file1的每一行与file2的每一行).对于每对,计算模糊匹配分数.我做了3个版本.运行我的仓库中提供的样本...
还是不够快？几个方法帮你加快Python运行速度
xff123456_的博客
08-04 2712
当然是要追求一下速度的啦~
python 性能提升之 并行map 线程池过亿数据量
meiguopai1的博客
11-06 1万+
前段时间进行单一目录下10万张图片发送，效果很差，数据积压原来越多。 性能问题提上议程。 采用多线程 多进程 感觉比较繁琐，网上有介绍 map的并行处理的，使用后性能提高明细。 网上介绍map如下 介绍：Map Map是一个很棒的小功能，同时它也是Python并行代码快速运行的关键。给不熟悉的人讲解一下吧，map是从函数语言Lisp来的。map函数能够按序映射出另一个函数。例如 ...
python——使用map快速匹配字典的key
Lenskit
07-04 1万+
使用map快速匹配字典的key
Python 的 map、列表推导、循环效率比较
liangkaiping0525的博客
06-29 8683
话不多说，直接上代码：1.准备数据（三个列表）import time x=[] x1=[] x2=[] for i in range(1000000): x.append(i) x1.append(i) x2.append(i) 2.开始表演# 2.1.for循环start1=time.clock() for i in range(len(x)): x[i] +...
python append函数_Python加速运行技巧
最新发布
06-07
您的第一个问题是关于Python的append函数和加速...此外，还有一些其他的Python加速运行技巧，比如使用numpy库进行数值计算、使用缓存和局部变量等。如果您想了解更多的细节，请参考Python官方文档或者相关的在线教程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值