cpu密集
对于cpu密集操作,只能靠多进程方式
io密集
对于io密集型操作,传统上用多线程方式。多线程是系统调度,并且在线程间共享变量时需要加锁。
现在,更加高效的的方式来了,协程 !
协程的本质是函数回调,
不需要os调度,效率极高,且不需要锁。
所谓 Sync,是指操作一个接一个地执行,下一个操作必须等上一个操作完成后才能执行。
而 Async 是指不同操作间可以相互交替执行,如果其中的某个操作被 block 了,程序并不会等待,而是会找出可执行的操作继续执行
1.基本概念:
asyncio :是用来编写并发代码的库,使用async/await语法。
coroutine 协程:协程对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象。协程对象需要注册到事件循环,由事件循环调用。
task 任务:一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步封装,其中包含任务的各种状态。
future: 代表将来执行或没有执行的任务的结果。它和task上没有本质的区别
event_loop 事件循环:程序开启一个无限的循环,程序员会把一些函数注册到事件循环上。当满足事件发生的时候,调用相应的协程函数。
await:用于挂起阻塞的异步调用接口。
async 定义一个协程,await 用来挂起阻塞方法的执行
2.常用方法
1.loop = asyncio.get_event_loop()
创建事件循环
from multiprocessing import Pool
import asyncio
import time
async def test(time):
await asyncio.sleep(time)
async def main(num):
start_time = time.time()
tasks = [asyncio.create_task(test(1)) for proxy in range(num)]
[await t for t in tasks]
print(time.time() - start_time)
def run(num):
asyncio.run(main(num))
if __name__ == "__main__":
p = Pool()
for i in range(4):
p.apply_async(run, args=(2500,))
p.close()
p.join()