本章仅以获取图片来测试一下Py的同步、异步、协程、多进程、多线程的速度。凑个热闹即可,具体需要以实际情况为主。
图片数量:257张
执行操作:
1、读取文件
2、发起请求
3、下载图片
所需库:
pip install httpx
pip install aiomultiprocess
pip install aiofiles
pip install requests
同步
![0416bc9b1c3d64a4afc406dcdef233b0.png](https://i-blog.csdnimg.cn/blog_migrate/731ac9b8150c56ac35ef1d595726afc9.png)
def get_img():
with open('imgs', 'r', encoding='utf-8') as r:
contents = r.read()
# print(contents.split('\n'))
for href in contents.split('\n'):
img = requests.get(href).content
with open('img/' + href[-28:-16] + '.jpg', 'wb') as w:
w.write(img)
print("加载成功", href)
#
start_time = timeit.default_timer()
get_img()
end_time = timeit.default_timer()
elapsed_time = end_time - start_time
print("Elapsed Time:", elapsed_time)
协程
![fc6db0f174eb95b9f9719f19d509b6d6.png](https://i-blog.csdnimg.cn/blog_migrate/57d5d1595f3f80bbb1b6148c5eec01c6.png)
import asyncio
import aiofiles
import httpx
import timeit
async def read_img():
# 异步读取
async with aiofiles.open('imgs', 'r', encoding='utf-8') as r:
contents = await r.read()
return contents.split('\n')
async def download_image(url):
async with httpx.AsyncClient() as client:
response = await client.get(url)
return response.content
async def get_image():
contents = await read_img()
tasks= [url for url in contents]
for task in tasks:
image_content = await download_image(task)
try:
async with aiofiles.open('img/' + task[-28:-16] + '.jpg', 'wb') as f:
await f.write(image_content)
print("加载成功~ {}".format(task))
except:
print("有点小问题,跳过")
if __name__ == '__main__':
start_time = timeit.default_timer()
asyncio.run(get_image())
end_time = timeit.default_timer()
elapsed_time = end_time - start_time
print("Elapsed Time:", elapsed_time)
用到了一些其他模块,需要pip下载,按照上述指示下载即可。
就不一一举例的,具体的已经都放在了笔记中
![9f71a5ccf79fbaea322dd56c2c65beed.png](https://i-blog.csdnimg.cn/blog_migrate/52b1a6196223538db9dd020cdf2884ce.png)
直接来看看效果
异步
![ba1d6fb7065681b9b73c2ff27857a08b.png](https://i-blog.csdnimg.cn/blog_migrate/f812d74a1bd55b76a622427f6dbea816.png)
多进程 + 异步
![d5d6cbedc07585280915de6a8a8572be.png](https://i-blog.csdnimg.cn/blog_migrate/9c1184e79a9831ffd8fb77e39ef83466.png)
多线程 + 异步
![04a66402f2c08ee8e8345759e92a37c1.png](https://i-blog.csdnimg.cn/blog_migrate/bc7f1a77b807de38970aa06798358e4a.png)
多线程
![3499a81fb73e8c462bd9febc714afed4.png](https://i-blog.csdnimg.cn/blog_migrate/a7ece78df6ac2e59e96acde4402865b8.png)
总结
为什么多线程在这里要更快??
为什么多进程 + 异步也慢??
这是一个先对问题,为什么这么说?跟数据量有关系,不能因为表面而被迷惑。因为协程跟进程是需要额外开销的,在程序启动的时候,这个开销在数据量小的时候尤其明显。(非官方解释,可参考博主的笔记)