22. 协程与Python中的多任务异步协程

已于 2023-01-18 01:28:17 修改
阅读量551 收藏 9
点赞数 5
分类专栏： Python爬虫入门、进阶与实战 文章标签： python 开发语言 异步 协程
于 2023-01-10 13:12:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59180666/article/details/128626343
版权

目录

前言

协程概念

示例代码

Python编写协程程序

要用到的库函数

尝试编写异步

尝试改进函数

尝试优化代码

在爬虫领域的应用 

总结

前言

本节我们介绍一个新概念：协程。协程顾名思义，是协助执行程序的过程。我们将介绍协程的概念和其在Python中的应用。

协程概念

百度百科（协程）：

协程不是进程或线程，其执行过程更类似于子例程，或者说不带返回值的函数调用。

一个程序可以包含多个协程，可以对比与一个进程包含多个线程，因而下面我们来比较协程和线程。我们知道多个线程相对独立，有自己的上下文，切换受系统控制；而协程也相对独立，有自己的上下文，但是其切换由自己控制，由当前协程切换到其他协程由当前协程来控制。

注意，协程是应用程序内部切换上下文，不会进入内核进行线程上下文切换。

协程主要用于某一进程CPU调用睡眠时或者进行I/O操作时，选择性地切换到其他任务，从而提高效率。在微观上是一个任务一个任务的进行切换，切换条件一般就是IO操作。在宏观上，我们能看到的其实是多个任务一起在执行（多任务异步操作）

示例代码

import time


def func():
    print("我爱黎明")
    time.sleep(3)  # 让当前的线程处于阻塞状态. CPU是不为我工作的
    print("我真的爱黎明")


if __name__ == '__main__':
    func()

"""
# input() 程序也是处于阻塞状态
# requests.get(bilibili) 在网络请求返回数据之前, 程序也是处于阻塞状态的
# 一般情况下, 当程序处于 IO操作的时候. 线程都会处于阻塞状态

# 协程: 当程序遇见了IO操作的时候. 可以选择性的切换到其他任务上.
# 在微观上是一个任务一个任务的进行切换. 切换条件一般就是IO操作
# 在宏观上,我们能看到的其实是多个任务一起在执行
# 多任务异步操作

# 上方所讲的一切. 都是在单线程的条件下
"""

Python编写协程程序

要用到的库函数

# python编写协程的程序
import asyncio


async def func():
    print("你好啊, 我叫赛利亚")


if __name__ == '__main__':
    g = func()  # 此时的函数是异步协程函数. 此时函数执行得到的是一个协程对象
    # print(g)
    asyncio.run(g)  # 协程程序运行需要asyncio模块的支持

要编写异步程序，要用到asyncio这个库，它是Python自带的，直接导入就可以。我们写一个异步函数，它不能在主函数中直接运行，会抛出Error，因为它直接运行返回的是一个协程对象。我们必须用asyncio的run函数才能运行。

尝试编写异步

import asyncio
import time

async def func1():
    print("你好啊, 我叫李诞")
    time.sleep(3)  # 当程序出现了同步操作的时候. 异步就中断了
    print("你好啊, 我叫李诞")


async def func2():
    print("你好啊, 我叫王建国")
    time.sleep(2)
    print("你好啊, 我叫王建国")


async def func3():
    print("你好啊, 我叫李雪琴")
    time.sleep(4)
    print("你好啊, 我叫李雪琴")


if __name__ == '__main__':
    f1 = func1()
    f2 = func2()
    f3 = func3()
    tasks = [
        f1, f2, f3
    ]
    t1 = time.time()
    # 一次性启动多个任务(协程)
    asyncio.run(asyncio.wait(tasks))    # 固定搭配
    t2 = time.time()
    print(t2 - t1)

我们想一次性执行多个异步任务时，需要把它们放在列表中，并且用asyncio的run函数中嵌套wait函数才能实现，它是固定搭配，可以套公式。

打印程序执行时间，发现此时执行时间和串行执行的速度差不多——也是9秒多

（打印数据时间+3+2+4）秒。

问题出在time.sleep()。当异步函数中出现同步操作时，异步就中断了，所以还是在等待睡眠时间中CPU什么都没有执行。

尝试改进函数

import asyncio
import time

async def func1():
    print("你好啊, 我叫李诞")
    # time.sleep(3)  # 当程序出现了同步操作的时候. 异步就中断了
    await asyncio.sleep(3)  # 异步操作的代码
    print("你好啊, 我叫李诞")


async def func2():
    print("你好啊, 我叫王建国")
    # time.sleep(2)
    await asyncio.sleep(2)
    print("你好啊, 我叫王建国")


async def func3():
    print("你好啊, 我叫李雪琴")
    # time.sleep(4)
    await asyncio.sleep(4)
    print("你好啊, 我叫李雪琴")


if __name__ == '__main__':
    f1 = func1()
    f2 = func2()
    f3 = func3()
    tasks = [
        f1, f2, f3
    ]
    t1 = time.time()
    # 一次性启动多个任务(协程)
    asyncio.run(asyncio.wait(tasks))
    t2 = time.time()
    print(t2 - t1)

我们将睡眠操作改为异步，尝试执行，打印执行时间为4秒多（最长的睡眠时间+调度时间）

但我们这样并不是最理想化的代码，我们将其进行优化：

尝试优化代码

import time
import asyncio

async def func1():
    print("你好啊, 我叫李诞")
    await asyncio.sleep(3)
    print("你好啊, 我叫李诞")


async def func2():
    print("你好啊, 我叫王建国")
    await asyncio.sleep(2)
    print("你好啊, 我叫王建国")


async def func3():
    print("你好啊, 我叫李雪琴")
    await asyncio.sleep(4)
    print("你好啊, 我叫李雪琴")


async def main():
    # 第一种写法
    # f1 = func1()
    # await f1  # 一般await挂起操作放在协程对象前面
    # 第二种写法(推荐)
    tasks = [
        asyncio.create_task(func1()),  # py3.8以后加上asyncio.create_task()
        asyncio.create_task(func2()),
        asyncio.create_task(func3())
    ]
    await asyncio.wait(tasks)


if __name__ == '__main__':
    t1 = time.time()
    # 一次性启动多个任务(协程)
    asyncio.run(main())
    t2 = time.time()
    print(t2 - t1)

这里还是推荐把函数放在tasks列表中，然后在main异步函数中异步执行异步函数列表，然后在主程序中调用main异步函数。我们依旧输出运行时间，查看是否成功异步运行：

可以看到是没问题的。

在爬虫领域的应用 

import asyncio

# 在爬虫领域的应用
async def download(url):
    print("准备开始下载")
    await asyncio.sleep(2)  # 网络请求  requests.get()
    print("下载完成")


async def main():
    urls = [
        "http://www.baidu.com",
        "http://www.bilibili.com",
        "http://www.163.com"
    ]

    # 准备异步协程对象列表
    tasks = []
    for url in urls:
        d = asyncio.create_task(download(url))
        tasks.append(d)

    # tasks = [asyncio.create_task(download(url)) for url in urls]  # 这么干也行哦~

    # 一次性把所有任务都执行
    await asyncio.wait(tasks)

if __name__ == '__main__':
    asyncio.run(main())

这里用睡眠代替了网络请求操作，相当于一个模板，以后要批量请求网页的时候可以套用。

运行结果：

完整代码

调试请自行修改注释部分

# import time
#
#
# def func():
#     print("我爱黎明")
#     time.sleep(3)  # 让当前的线程处于阻塞状态. CPU是不为我工作的
#     print("我真的爱黎明")
#
#
# if __name__ == '__main__':
#     func()
#
# """
# # input() 程序也是处于阻塞状态
# # requests.get(bilibili) 在网络请求返回数据之前, 程序也是处于阻塞状态的
# # 一般情况下, 当程序处于 IO操作的时候. 线程都会处于阻塞状态
#
# # 协程: 当程序遇见了IO操作的时候. 可以选择性的切换到其他任务上.
# # 在微观上是一个任务一个任务的进行切换. 切换条件一般就是IO操作
# # 在宏观上,我们能看到的其实是多个任务一起在执行
# # 多任务异步操作
#
# # 上方所讲的一切. 都是在单线程的条件下
# """


# python编写协程的程序
import asyncio
import time


# async def func():
#     print("你好啊, 我叫赛利亚")
#
#
# if __name__ == '__main__':
#     g = func()  # 此时的函数是异步协程函数. 此时函数执行得到的是一个协程对象
#     # print(g)
#     asyncio.run(g)  # 协程程序运行需要asyncio模块的支持


# async def func1():
#     print("你好啊, 我叫李诞")
#     # time.sleep(3)  # 当程序出现了同步操作的时候. 异步就中断了
#     await asyncio.sleep(3)  # 异步操作的代码
#     print("你好啊, 我叫李诞")
#
#
# async def func2():
#     print("你好啊, 我叫王建国")
#     # time.sleep(2)
#     await asyncio.sleep(2)
#     print("你好啊, 我叫王建国")
#
#
# async def func3():
#     print("你好啊, 我叫李雪琴")
#     await asyncio.sleep(4)
#     print("你好啊, 我叫李雪琴")
#
#
# if __name__ == '__main__':
#     f1 = func1()
#     f2 = func2()
#     f3 = func3()
#     tasks = [
#         f1, f2, f3
#     ]
#     t1 = time.time()
#     # 一次性启动多个任务(协程)
#     asyncio.run(asyncio.wait(tasks))
#     t2 = time.time()
#     print(t2 - t1)


# async def func1():
#     print("你好啊, 我叫李诞")
#     await asyncio.sleep(3)
#     print("你好啊, 我叫李诞")
#
#
# async def func2():
#     print("你好啊, 我叫王建国")
#     await asyncio.sleep(2)
#     print("你好啊, 我叫王建国")
#
#
# async def func3():
#     print("你好啊, 我叫李雪琴")
#     await asyncio.sleep(4)
#     print("你好啊, 我叫李雪琴")
#
#
# async def main():
#     # 第一种写法
#     # f1 = func1()
#     # await f1  # 一般await挂起操作放在协程对象前面
#     # 第二种写法(推荐)
#     tasks = [
#         asyncio.create_task(func1()),  # py3.8以后加上asyncio.create_task()
#         asyncio.create_task(func2()),
#         asyncio.create_task(func3())
#     ]
#     await asyncio.wait(tasks)
#
#
# if __name__ == '__main__':
#     t1 = time.time()
#     # 一次性启动多个任务(协程)
#     asyncio.run(main())
#     t2 = time.time()
#     print(t2 - t1)

# 在爬虫领域的应用
async def download(url):
    print("准备开始下载")
    await asyncio.sleep(2)  # 网络请求  requests.get()
    print("下载完成")


async def main():
    urls = [
        "http://www.baidu.com",
        "http://www.bilibili.com",
        "http://www.163.com"
    ]

    # 准备异步协程对象列表
    tasks = []
    for url in urls:
        d = asyncio.create_task(download(url))
        tasks.append(d)

    # tasks = [asyncio.create_task(download(url)) for url in urls]  # 这么干也行哦~

    # 一次性把所有任务都执行
    await asyncio.wait(tasks)

if __name__ == '__main__':
    asyncio.run(main())

总结

我们今天认识了协程和异步爬虫，一步步逐步认识了异步的优点，进一步提高了我们的程序效率。

Vec_Kun
关注
专栏目录
python之多任务异步协程基础
weixin_53155105的博客
04-24 259
import asyncio import time
Python爬虫之协程，异步协程和多任务异步协程
Tom197的博客
08-05 1513
文章目录一. 协程二. 异步协程创建一个协程对象并使用task的创建与使用future的使用绑定回调三. 多任务异步协程 一. 协程 协程，英文叫做 Coroutine，又称微线程，纤程，协程是一种用户态的轻量级线程。 协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。因此协程能保留上一次调用时的状态，即所有局部状态的一个特定组合，每次过程重入时，就相当于进入上一次调用的状态。 协程本质上是个单进程，协程相对于多进程来说，无需
【Python】多任务异步协程
CNSamRol的博客
11-24 2044
9一、简单说说异步协程 当我们在程序中用time()函数时，往里面设置3秒的时间，程序就会等待3秒结束后继续执行下面的代码，在等待过程中程序处于终止状态不执行任何代码。但是我们调用了异步协程的time，程序在等待的过程中会执行其他代码，这就是异步协程的大概的概念。下面我用代码举个例子。 二、代码举例 import time t1 = time.time() def func1(): print("这是方法一") time.sleep(3) print("这是方法一") de
python多任务异步协程
wanggaoxingH的博客
10-02 793
异步协程
Python异步协程
by_zhou
12-26 2010
Python asyncio 异步协程百万并发 协程（coroutine） 本质就是一个函数 事件循环——(event_loop) 协程函数，不是像普通函数那样直接调用运行的，必须添加到事件循环中，然后由事件循环去运行，单独运行协程函数是不会有结果的，看一个简单的例子： import time import asyncio async def say_after_time(delay,what): await asyncio.sleep(delay) print(what
python 异步编程之协程
qq_43745578的博客
03-30 1536
python 协程原理和使用
深入浅析python 协程与go协程的区别
01-20
【深入浅析Python协程与Go协程的区别】 在计算机科学中，进程、线程和协程是并发执行任务的三种基本方式。进程是程序在操作系统中的实例，包含内存空间和资源；线程是进程中的执行单元，是CPU调度的基本单位，同一...
python3爬虫中异步协程的用法
12-17
为了解决这类问题，本文就来探讨一下 Python 中异步协程来加速的方法，此种方法对于 IO 密集型任务非常有效。如将其应用到网络爬虫中，爬取效率甚至可以成百倍地提升。 注：本文协程使用 async/await 来实现，需要 ...
python爬虫-超高速异步协程Python爬虫算法实现.zip
最新发布
02-25
超高速异步协程是Python中实现高性能爬虫的关键技术之一，它结合了异步编程和协程的概念，使得爬虫在处理大量网络请求时能够更加高效、快速。 异步编程允许程序在等待IO操作（如网络请求）完成时，不被阻塞，而是...
Python异步编程之协程
lIujunXHU的博客
11-28 1518
官方文档事件循环 — Python 3.12.0 文档1、异步编程是一种并发编程的模式，在不同任务之间进行调度切换执行，减少CPU的空闲时间一达到减小整个程序的执行时间。2、与多线程和多进程并发编程模式相比，异步编辑就是协程并发执行的处理，即在同一个线程下不同任务之间的调度，所以异步编程无法充分利用多核CPU的优势，适用于IO阻塞性任务。3、异步编程的可应用于协程控制执行网络IO和IPC控制子进程、通过队列实现分布式任务、同步并发代码。
python中异步编程和协程
wugou2014的博客
02-21 518
python下异步和协程
python多任务异步协程asyncio模块
yixinluobo的博客
03-03 418
刚看了asyncio模块的使用，简单记录一下测试代码。 import asyncio import aiohttp # 特殊的函数：不可以出现不支持异步的模块的代码 async def get_request(url): # 使用aiohttp进行网络请求 async with aiohttp.ClientSession() as sess: # 实例化一个请求对象叫做sess # sess.get(url, headers, params,proxy)
异步IO：Python中的协程
WingC的博客
12-07 680
我们在实际的问题中会遇到一些堵塞线程的场景，比如UI程序进行耗时的计算阻塞主线程；进行IO操作，比如读写文档或者网络传输时会阻塞线程等等，之前我采用的是使用多进程+多线程的处理方式，但这种方式相比于协程来说都比较慢，特别是在Windows操作系统下启动一个线程是开销很大的，因此掌握Python中的协程对于处理一些高并发需求来说是非常重要的，看完了廖雪峰的官方网站–异步IO后我总结了一下我对于协程的理
一篇很有营养的干货|看懂Python中的异步协程，这篇就够了
cainiao_python的博客
08-02 416
作者：崔庆才链接：https://mp.weixin.qq.com/s/jCc1jIHxU_p6bUlwijkwyQ01.什么是协程协程，英文叫做 Coroutine，又称微线程，纤程，...
单线程实现了多任务异步协程
weixin_30542079的博客
08-06 525
单线程+多任务异步协程: 意义:提升爬取数据的效率,我们也可以使用线程池, 异步爬虫方式: 多线程/多进程(电脑吃不消,没办法无节制开启)不建议 池:池中的线程或进程也是无法任意开启. 单线程+多任务异步协程(推荐)(500个协程,最优) 概念: 协程:本质就是一个对象,协程对象,怎么去获取?可以使用asynic该关键字去修饰一个函数定义,此时的函数就叫它特殊函数,当该特殊函数被调...
python爬虫 单线程的多任务异步协程
星如雨落
09-30 326
单线程的多任务异步协程 main.py """=== coding: UTF8 ===""" import asyncio import time async def func1(): print("hello python1") await asyncio.sleep(2) print("hello python1") async def func2(): print("hello python2") await asyncio.sleep(3) p
多任务异步协程实现
m0_47090638的博客
01-04 209
#!/usr/bin/env python # --*--coding: utf-8 --*-- import random import time import asyncio async def eat(name): print('%s开始吃西瓜啦！'%name) sleep_time=random.randint(1,3) # 在异步协程中如果出现了同步模块相关的代码，那么就无法实现异步。所以我们需要用 基于异步的模块实现 # time.sleep(sleep_t
多任务异步协程的实现
qq_44247831的博客
11-21 344
先导包 import asyncio import time 导入time模块是因为我们要计算程序执行的耗时来确定该任务是否是基于多任务异步协程 然后封装一个函数，用于模拟url的请求，并加上async用于返回一个协程对象。 async def requset(url): print('正在下载',url) time.sleep(2) print('下载完毕',url) 然后定义协程对象 urls=[ 'www.baidu.com', ...
Python3 多任务之---异步
咸甜适中
11-30 761
异步 from multiprocessing import Pool import time import os def test(): print('---进程池中的进程---pid=%d,ppid=%d--'%(os.getpid(),os.getppid())) for i in range(3): print('----%d----'%i) ...
Python协程详解：原理与并行异步编程
Python通过生成器和async/await语法实现了协程，它们可以在单线程中实现类似多线程的效果，避免了GIL带来的性能瓶颈。掌握协程的使用可以帮助开发人员编写出更加高效、灵活的并发程序，特别是在处理IO密集型任务时。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Vec_Kun

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值