本文主要讨论下面几个问题:
- 什么是异步(Asynchronous)编程?
- 为什么要使用异步编程?
- 在 Python 中有哪些实现异步编程的方法?
- Python 3.5 如何使用
async/await
实现异步网络爬虫?
所谓异步是相对于同步(Synchronous)的概念来说的,之所以容易造成混乱,是因为刚开始接触这两个概念时容易把同步看做是同时,而同时不是意味着并行(Parallel)吗?然而实际上同步或者异步是针对于时间轴的概念,同步意味着顺序、统一的时间轴,而异步则意味着乱序、效率优先的时间轴。比如在爬虫运行时,先抓取 A 页面,然后从中提取下一层页面 B 的链接,此时的爬虫程序的运行只能是同步的,B 页面只能等到 A 页面处理完成之后才能抓取;然而对于独立的两个页面 A1 和 A2,在处理 A1 网络请求的时间里,与其让 CPU 空闲而 A2 等在后面,不如先处理 A2,等到谁先完成网络请求谁就先来进行处理,这样可以更加充分地利用 CPU,但是 A1 和 A2 的执行顺序则是不确定的,也就是异步的。
很显然,在某些情况下采用异步编程可以提高程序运行效率,减少不必要的等待时间,而之所以能够做到这一点,是因为计算机的 CPU 与其它设备是独立运作的,同时 CPU 的运行效率远高于其他设备的读写(I/O)效率。为了利用异步编程的优势,人们想出了很多方法来重新安排、调度(Schedule)程序的运行顺序,从而最大化 CPU 的使用率,其中包括进程、线程、协程等(具体可参考《Python 中的进程、线程、协程、同步、异步、回调》)。在 Python 3.5 以前通过 @types.coroutine
作为修饰器的方式将一个生成器(Generator)转化为一个协程,而在 Python 3.5 中则通过关键词 async/await
来定义一个协程,同时也将 asyncio
纳入为标准库,用于实现基于协程的异步编程。
要使用 asyncio
需要理解下面几个概念:
- Event loop
- Coroutine
- Future & Task
Event loop
了解 JavaScript 或 Node.js 肯定对事件循环不陌生,我们可以把它看作是一种循环式(loop)的调度机制,它可以安排需要 CPU 执行的操作优先执行,而会被 I/O 阻塞的行为则进入等待队列:
asyncio
自带了事件循环:
import asyncio
loop = anscio.get_event_loop()
# loop.run_until_complete(coro())
loop.close()
当然你也可以选择其它的实现形式,例如 Sanic
框架采用的 uvloop
,用起来也非常简单( 至于性能上是否更优我没有验证过,但至少在 Jupyter Notebook 上 uvloop
用起来更方便):
import asyncio
import uvloop
loop = uvloop.new_event_loop()
asyncio.set_event_loop(loop)
Coroutine
Python 3.5 以后推荐使用 async/await
关键词来定义协程,它具有如下特性:
- 通过
await
将可能阻塞的行为挂起,直到有结果之后继续执行,Event loop 也是据此来对多个协程的执行进行调度的; - 协程并不像一般的函数一样,通过
coro()
进行调用并不会执行它,而只有将它放入 Event loop 进行调度才能执行。
一个简单的例子:
import uvloop
import asyncio
loop = uvloop.new_event_loop()
asyncio.set_event_loop(loop)
async def compute(a, b):
print("Computing {} + {}...".format(a, b))
await asyncio.sleep(a+b)
return a + b
tasks = []
for i, j in zip(range(3), range(3)):
print(i, j)
tasks.append(compute(i, j))
loop.run_until_complete(asyncio.gather(*tasks))
loop.close()
### OUTPUT
"""
0 0
1 1
2 2
Computing 0 + 0...
Computing 1 + 1...
Computing 2 + 2...
CPU times: user 1.05 ms, sys: 1.21 ms, total: 2.26 ms
Wall time: 4 s
"""
由于我们没办法知道协程将在什么时候调用及返回,asyncio
中提供了 Future
这一对象来追踪它的执行结果。
Future & Task
Future
相当于 JavaScript
中的 Promise
,用于保存未来可能返回的结果。而 Task
则是 Future
的子类,与 Future
不同的是它包含了一个将要执行的协程( 从而组成一个需要被调度的任务)。还以上面的程序为例,如果想要知道计算结果,可以通过 asyncio.ensure_future()
方法将协程包裹成 Task
,最后再来读取结果:
import uvloop
import asyncio
loop = uvloop.new_event_loop()
asyncio.set_event_loop(loop)
async def compute(a, b):
print("Computing {} + {}...".format(a, b))
await asyncio.sleep(a+b)
return a + b
tasks = []
for i, j in zip(range(3), range(3)):
print(i, j)
tasks.append(asyncio.ensure_future(compute(i, j)))
loop.run_until_complete(asyncio.gather(*tasks))
for t in tasks:
print(t.result())
loop.close()
### OUTPUT
"""
0 0
1 1
2 2
Computing 0 + 0...
Computing 1 + 1...
Computing 2 + 2...
0
2
4
CPU times: user 1.62 ms, sys: 1.86 ms, total: 3.49 ms
Wall time: 4.01 s
"""
异步网络请求
Python 处理网络请求最好用的库就是 requests(应该没有之一),但由于它的请求过程是同步阻塞的,因此只好选用 aiohttp。为了对比同步与异步情况下的差异,先伪造一个假的异步处理服务器:
from sanic import Sanic
from sanic.response import text
import asyncio
app = Sanic(__name__)
@app.route("/<word>")
@app.route("/")
async def index(req, word=""):
t = len(word) / 10
await asyncio.sleep(t)
return text("It costs {}s to process `{}`!".format(t, word))
app.run()
服务器处理耗时与请求参数(word
)长度成正比,采用同步请求方式,运行结果如下:
import requests as req
URL = "http://127.0.0.1:8000/{}"
words = ["Hello", "Python", "Fans", "!"]
for word in words:
resp = req.get(URL.format(word))
print(resp.text)
### OUTPUT
"""
It costs 0.5s to process `Hello`!
It costs 0.6s to process `Python`!
It costs 0.4s to process `Fans`!
It costs 0.1s to process `!`!
CPU times: user 18.5 ms, sys: 2.98 ms, total: 21.4 ms
Wall time: 1.64 s
"""
采用异步请求,运行结果如下:
import asyncio
import aiohttp
import uvloop
URL = "http://127.0.0.1:8000/{}"
words = ["Hello", "Python", "Fans", "!"]
async def getPage(session, word):
with aiohttp.Timeout(10):
async with session.get(URL.format(word)) as resp:
print(await resp.text())
loop = uvloop.new_event_loop()
asyncio.set_event_loop(loop)
session = aiohttp.ClientSession(loop=loop)
tasks = []
for word in words:
tasks.append(getPage(session, word))
loop.run_until_complete(asyncio.gather(*tasks))
loop.close()
session.close()
### OUTPUT
"""
It costs 0.1s to process `!`!
It costs 0.4s to process `Fans`!
It costs 0.5s to process `Hello`!
It costs 0.6s to process `Python`!
CPU times: user 61.2 ms, sys: 18.2 ms, total: 79.3 ms
Wall time: 732 ms
"""
从运行时间上来看效果是很明显的。
读者福利:知道你对Python感兴趣,便准备了这套python学习资料
👉[[CSDN大礼包:《python兼职资源&全套学习资料》免费分享]](安全链接,放心点击)
对于0基础小白入门:
如果你是零基础小白,想快速入门Python是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习等习教程。带你从零基础系统性的学好Python!
零基础Python学习资源介绍
- ① Python所有方向的学习路线图,清楚各个方向要学什么东西
- ② 600多节Python课程视频,涵盖必备基础、爬虫和数据分析
- ③ 100多个Python实战案例,含50个超大型项目详解,学习不再是只会理论
- ④ 20款主流手游迫解 爬虫手游逆行迫解教程包
- ⑤ 爬虫与反爬虫攻防教程包,含15个大型网站迫解
- ⑥ 爬虫APP逆向实战教程包,含45项绝密技术详解
- ⑦ 超300本Python电子好书,从入门到高阶应有尽有
- ⑧ 华为出品独家Python漫画教程,手机也能学习
- ⑨ 历年互联网企业Python面试真题,复习时非常方便
👉Python学习路线汇总👈
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)
👉Python必备开发工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉Python学习视频600合集👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉实战案例👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉100道Python练习题👈
检查学习结果。
👉面试刷题👈
👉python副业兼职与全职路线👈
上述这份完整版的Python全套学习资料已经上传CSDN官方,朋友们如果需要可以微信扫描下方CSDN官方认证二维码 即可领取↓↓↓
![](https://i-blog.csdnimg.cn/blog_migrate/63b0a501f5b379d8178e962ce1df432d.png)