协程[python]
讲到协程,我们首先要知道的是代码的运行存在同步和异步的方式。同步是流水线式的执行代码,这是众所周知的;而异步则相反,协程的异步运行可以在代码遇到I/O问题而产生阻塞时,自动跳转到下一部分代码运行。当运行结束后可以返回到之前等待的部分,实现高效率的工作。
协程基于效率而产生的优化代码和程序的工作模式,与协程类似的还有进程与线程的工作模式,这可以在原本能够运行的大型程序(含有大量同类操作)的基础上更加快速的实现代码,这类操作我们可以应用在python爬虫上,
为了更加直观的看出协程的优点,我们先看一段 同步 的代码
import time
def func1():
print("a1")
time.sleep(3)
print("a2")
def func2():
print("b1")
time.sleep(3)
print("b2")
def func2():
print("c1")
time.sleep(3)
print("c2")
def main():
func1()
func2()
func3()
if __name__ == "__main__":
t1 = time.time()
main()
t2 = time.time()
print(t2-t1)
这段代码的结果是9.025104522705078,这9s的sleep时间外程序运行的基本可以忽略不计的时间,可以看出,完全是流水线的工作效率,没有更好的利用资源。
我们再进行优化这段代码
在优化成协程的工作模式前,我先给大家引入一个python的基本库asyncio,讲到这不得不说python的基本库和第三方库确实强大!
import time
import asyncio
async def func1():
print("a1")
await asyncio.sleep(3)
print("a2")
async def func2():
print("b1")
await asyncio.sleep(2)
print("b2")
async def func3():
print("c1")
await asyncio.sleep(4)
print("c2")
async def main():
tasks = [func1(),func2(),func3()]
await asyncio.wait(tasks)
if __name__ == '__main__':
t1 = time.time()
asyncio.run(main())
t2 = time.time()
print(t2-t1)
这段使用了协程的代码运行时间只有4.01913473,所以基本上就等于协程所运行的多个函数块中时间最长的那一部分,大大提高了效率。
小tips:
**1.**time.sleep()是一个同步操作,当异步程序中出现同步操作时,异步就中断
所以就算使用了asyncio的情况下,没有将time.time()改成await asyncio.sleep 也是无效的(会报错)。
**2.**async def func() 是创建一个协程函数,实现挂起,再使用run执行
如果有小伙伴对python和爬虫有兴趣,可以私信和我交流,我们一起进步啊!(我也是小白)