asyncio协程异步实战

最新推荐文章于 2024-04-13 01:04:48 发布
最新推荐文章于 2024-04-13 01:04:48 发布
阅读量535 收藏 2
点赞数
分类专栏： 笔记 文章标签： python 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44634704/article/details/109093803
版权

经典案例

import asyncio

async def print_hello():
    while 1:
        print('hello_word')
        await asyncio.sleep(1)    #这个sleep不同time.sleep  这个sleep是让出线程控制权,给事件循环中别的协程

async def print_googbye():
    while 1:
        print('goodbye')
        await asyncio.sleep(2)		#这个相当于模拟IO阻塞操作,让出线程控制权,交由事件循环中别的协程来处理

c1 = print_hello()
c2 = print_googbye()            #这个相当于是创建协程对象
loop = asyncio.get_event_loop()         #获取事件循环
loop.run_until_complete(asyncio.gather(c1,c2))  #吧协程对象添加到事件循环中去执行

网络请求的异步化
实例1

import asyncio
import random

async def cronschedule():
    page = 1
    await asyncio.sleep(1)
    while 1:
        job = cron_job(f'https://www.baidu.com/{page}')
        await job			#走到这里,需要等待job执行结束,才可以执行下一次
        page += 1			#这样写就阻塞线程,不能达到高并发的目的
        

async def cron_job(url):
    n = random.randint(1,3)
    await asyncio.sleep(n)
    print('下载结束:' + url)

asyncio.run(cronschedule())

实例二

import asyncio
import random

async def cronschedule():
    page = 1
    await asyncio.sleep(1)
    while 1:
        job = cron_job(f'https://www.baidu.com/{page}')
        asyncio.create_task(job)  		#注册到事件循环,我们必须将新协程分离出去,让它和协程并发
        #a = asyncio.ensure_future(job) #如果你对job的协程对象的返回值需要,则需要用这个方法
        await asyncio.sleep(0.01)  		#必须有await,交出线程控制权,不然死循环会一直占用线程
        page += 1

async def cron_job(url):
    n = random.randint(1,3)
    await asyncio.sleep(n)
    print('下载结束:' + url)

asyncio.run(cronschedule())		#肉眼可见的并发数很高

案例三

import asyncio
import functools
import random

def on_job_down(url,task):
    print('下载结束',url,task.result()) #task.result 可以拿到cron_job协程函数的返回值


async def cronschedule():
    page = 1
    await asyncio.sleep(1)
    while 1:
        url = f'https://www.baidu.com/{page}'
        job = cron_job(url)
        task = asyncio.create_task(job)  #注册到事件循环,我们必须将新协程分离出去,让它和协程并发
        #a = asyncio.ensure_future(job) #如果你对job的协程对象的返回值需要,则需要用这个方法
        task.add_done_callback(functools.partial(on_job_down,url)) #这个是回调函数
        await asyncio.sleep(0.01)  #必须有await,交出线程控制权,不然死循环会一直占用线程
        page += 1

async def cron_job(url):
    n = random.randint(1,3)
    await asyncio.sleep(n)
    print('下载结束:' + url)
    return '<html></html>'

asyncio.run(cronschedule())

异步和非异步模块混合案例

网络请求下载案例

import asyncio
import time

async def down_load(url):
    #发起网络请求、下载图片(遇到网络下载图片的IO请求,自动化切换到其他任务)
    print('开始下载')
    loop = asyncio.get_event_loop()

    #requests模块默认不支持异步操作,所以使用线程池来配合实现
    future = loop.run_in_executor(None,requests.get,url)
    response = await future
    print('下载完成')

    #图片保存本地
    file_name = time.time()
    with open(f'{file_name}.jpg','wb') as f:
        f.write(response.content)

if __name__ == '__main__':
    url_list = [
        'https://ss0.bdstatic.com/70cFvHSh_Q1YnxGkpoWK1HF6hhy/it/u=2229640758,955716948&fm=26&gp=0.jpg',
        'https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2637673594,2560483073&fm=26&gp=0.jpg',
        'https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2393851800,1908382647&fm=26&gp=0.jpg'
    ]

    tasks = [down_load(url) for url in url_list]
    asyncio.run(asyncio.wait(tasks))
    # loop = asyncio.get_event_loop()
    # loop.run_until_complete(asyncio.wait(tasks))

异步操作Redis

在通过python代码操作redis时,连接/操作/断开都是网络IO。

案例1

pip install aioredis				--支持异步操作的模块



import asyncio
import aioredis

async def execute(address,password):
    print('开始执行',address)
    #网络IO操作,创建redis连接
    redis = await aioredis.create_redis(address,password=password)

    #网络IO操作,存数据,即 redis = {car:{key1:1,key2:2,key3:3}}
    await redis.hmset_dict('car',key1=1,key2=2,key3=3)

    #网络IO操作,去redis中获取值
    result = await redis.hgetall('car',encoding='utf-8')
    print(result)

    redis.close()
    #网络IO操作,关闭redis连接
    await redis.wait_closed()
    print('结束',address)

asyncio.run(execute('redis://47.93.4.198:6379','密码'))

案例2

import asyncio
import aioredis

async def execute(address,password):
    print('开始执行',address)
    #网络IO操作,创建redis连接
    redis = await aioredis.create_redis(address,password=password)

    #网络IO操作,存数据,即 redis = {car:{key1:1,key2:2,key3:3}}
    await redis.hmset_dict('car',key1=1,key2=2,key3=3)

    #网络IO操作,去redis中获取值
    result = await redis.hgetall('car',encoding='utf-8')
    print(result)

    redis.close()
    #网络IO操作,关闭redis连接
    await redis.wait_closed()
    print('结束',address)

task_list = [
    execute('redis://47.93.4.198:6379','密码'),			#连接两个redis
    execute('redis://47.93.4.197:6379','密码')
]

asyncio.run(asyncio.wait(task_list))
#连接第一个redis遇到网络IO,会自动切换到第二个连接

异步操作Mysql

示例1

pip install aiomysql         -- 支持mysql的异步的模块


import asyncio
import aiomysql

async def execute(address,password):
    print('开始执行',address)
    #网络IO操作,创建redis连接
    conn = await aiomysql.connect(host='127.0.0.1',port=3306,user='root',password='123')

    #网络IO操作,创建CURSOR
    cur = await conn.cursor()

    #网络IO操作,执行SQL结果
    await cur.execute('SELECT HOST,USER FROM USER')

    #网络IO操作,获取SQL结果
    result = await cur.fechall()
    print(result)

    #网络IO操作,关闭连接
    await cur.close()
    conn.close()

asyncio.run(execute())

案例2(连接多个mysql)

import asyncio
import aiomysql

async def execute(host,password):
    print('开始执行',host)
    #网络IO操作,创建redis连接
    conn = await aiomysql.connect(host=host,port=3306,user='root',password=password,db='mysql')

    #网络IO操作,遇到IO会自动切换任务
    cur = await conn.cursor()

    #网络IO操作,执行SQL结果
    await cur.execute('SELECT HOST,USER FROM USER')

    #网络IO操作,获取SQL结果
    result = await cur.fechall()
    print(result)

    #网络IO操作,关闭连接
    await cur.close()
    conn.close()
    print('结束',host)
    
task_list = [
    execute('47.93.41.197','密码'),
    execute('47.93.41.198','密码')
]

asyncio.run(asyncio.wait(task_list))

异步FastApi框架

pip install fastapi uvicorn -i https://pypi.doubanio.com/simple     -- 装模块

案例1

import asyncio
import aioredis
import uvicorn
from fastapi import FastAPI

app = FastAPI()

#创建redis连接池
REDIS_POOL = aioredis.ConnectionsPool('redis://47.193.14.198:6379',password='密码',minsize=1,maxsize=10)

@app.get('/')
def index():
    '''普通操作接口'''
    return {'message':'hello world'}

@app.get('/red')
async def red():
    '''异步操作接口'''
    print('请求来了')
    await asyncio.sleep(3)
    #连接池获取一个连接
    conn = await REDIS_POOL.acquire()
    redis = aioredis.Redis(conn)

    #存值
    await redis.hmset_dict('car',key1=1,key2=2)

    #取值
    result = await redis.hgetall('car',encoding='utf-8')
    print(result)

    #连接归还连接池
    REDIS_POOL.release(conn)
    return result

if __name__ == '__main__':
    uvicorn.run('1:app',host='127.0.0.1',port=5000,log_level='info')
    #这个1的意思,是这个文件的名

爬虫异步化

pip install aiohttp								--支持异步发送网络请求的模块

案例1

import aiohttp
import asyncio

async def fetch(session,url):
    print('发送请求:',url)
    async with session.get(url,verify_ssl=False) as response:
        text = await response.text()
        print('得到结果',url,len(text))
        return text
    
async def main():
    async with aiohttp.ClientSession() as session:
        url_list = [
            '...',
            '...',
            '...'
        ]
        tasks = [asyncio.create_task(fetch(session,url)) for url in url_list]
        done,pending = await asyncio.wait(tasks)
        print(done,pending)
if __name__ == '__main__':
    asyncio.run(main())

总结:

最大的意义就是通过一个线程利用其IO等待时间去做一些其他事情.

像风一样的男人@
关注
专栏目录
Python 协程 & asyncio &异步编程大纲
yuhang01的博客
04-06 240
协程 & asyncio &异步编程 如何讲解？ 第一部分：协程 第二部分:asyncio模块进行异步编程 第三部分:实战案例 1.协程 协程不是计算机提供,程序员认为创造的 协程(Coroutine),也可以被称为微线程，是一种用户态的上下文切换技术,简而言之其实就是通过一个线程实现代码块互相切换执行。例如: def func1(): print(1) .... print(2) def func2(): print(3)
协程、asyncio、异步编程
lixuefei_1993的博客
01-27 2745
协程
Python学习:异步IO:协程和asyncio
热门推荐
pyb的博客
03-26 1万+
所谓协程就是在一个线程中切换子进程,相比多线程有如下好处:最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显。第二大优势就是不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。python的协程通过gene
python异步IO(asyncio)协程实战
u011089760的博客
05-23 1320
1.概念描述： asyncio 是用来编写并发代码的库，使用async/await语法。 asyncio 被用作多个提供高性能 Python 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任务队列等等。 asyncio 往往是构建 IO 密集型和高层级结构化网络代码的最佳选择 event_loop 事件循环：程序开启一个无限的循环，程序员会把一...
asyncio- 异步
chikun8177的博客
05-17 208
asyncio是一个使用async / await语法编写并发代码的库。 asyncio用作多个Python异步框架的基础，这些框架提供高性能的网络和Web服务器，数据库连接库，分布式任务队列等。 asyncio通常非常适合IO绑定和高级结构化网络代码。 asyncio提供了一组高级...
协程 & 异步编程(asyncio)
weixin_53909748的博客
07-16 877
协程 & 异步编程(asyncio)
python 异步编程：协程与 asyncio
花城的博客
03-05 2397
文章目录一、协程（coroutine）1.1 协程的概念1.2 实现协程的方式二、asyncio 异步编程2.1 事件循环2.2 快速上手2.3 运行协程2.4 await 关键字2.5 可等待对象2.5.1 协程2.5.2 任务（Task）2.5.3 asyncio.Future三、concurrent.futures.Future（补充）3.1 爬虫案例（asyncio+不支持异步的模块）四、asyncio 异步迭代器五、asyncio 异步上下文管理六、Uvloop七、实战案例7.1 异步Redis7
Python异步协程（asyncio详解）
weixin_47888632的博客
11-29 504
个人Python异步协程的学习笔记，写的比较详细适合小白从入门到熟悉asyncio
协程asyncio_Python 异步模块 asyncio 中的协程与任务
weixin_39614637的博客
12-20 221
协程（Coroutine）是允许执行被挂起、恢复、以及取消的程序。Python 3 中最初是使用 @asyncio.coroutine 装饰器和 yield from 关键字组合来实现协程。单词 yield 在这里并非在生成器（Generator）中所表示的“产出”，而是交通标志中所表达的“让步”之意。其实在生成器中也包含“让步”的意思，即把执行权交给调用者，生成器暂缓执行，等待调用者对生成的结果...
10-异步爬虫（线程池/asyncio协程）实战案例
gemoumou的python学习实记
08-25 1124
异步爬虫： 基于线程池 基于单线程+多任务的异步爬虫 线程池 为了体现效果，我们自己搭建一个web服务 Flask的基本使用 环境安装 pip install flask 创建一个py源文件 test.html # -*- coding: utf-8 -*- from flask import Flask from flask import render_template import time #实例化一个app app = Flask(__name__) # 创建视图
Python的协程异步IO（asyncio）详解_python asyncio
最新发布
2401_84010061的博客
04-13 604
asyncio 是用来编写并发代码的库，使用 async/await 语法。asyncio 被用作多个提供高性能 Python 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任务队列等等。asyncio 往往是构建 IO 密集型和高层级 结构化 网络代码的最佳选择。并发地运行 Python 协程 并对其执行过程实现完全控制;执行网络 IO 和 IPC;控制子进程;通过队列实现分布式任务;同步并发代码;
spider:基于 AsyncIO 的异步爬虫，采用缓存机制，高效、易用
05-16
本篇文章将深入探讨基于`AsyncIO`的异步爬虫设计与实现，并结合`aiohttp`库进行实战讲解。 **AsyncIO基础** AsyncIO是Python 3.4引入的一个标准库，它基于事件驱动模型，利用非阻塞I/O来提高并发性能。在传统的...
协程&asyncio&异步编程
weixin_59285003的博客
02-05 1385
协程&asyncio&异步编程 协程 协程不是计算机提供，程序员人为创造 协程(Coroutine),也可以被称为微线程，是一种用户态内的上下文切换技术。简而言之，其实就是通过一个线程实现代码块相互切换执行。 实现协程的几种方法： greenlet（早起模块） pip install greenlet from greenlet import greenlet def func1(): print(1) #第二步：...
asyncio 异步协程
weixin_34203832的博客
11-27 139
1.并发执行任务示例： 1 import asyncio, time 2 3 #异步协程 4 async def hello(): 5 """ 6 这边程序运行时，线程不会等待这个sleep 1s,将直接终端继续执行往下执行，这边5个任务会并发执行 7 :return: 8 """ 9 print("hello ...
asyncio异步编程(一)
python_tty的专栏
06-21 165
asyncio异步编程
asyncio中的task
weixin_42444342的博客
05-03 514
取消asyncio中的task run_until_complete()和run_forever() run_until_complete() ，tasks运行完成时会停止loop，run_forever()则不会 在平时使用asyncio时遇到某些异常需要停止task，比如数据库插入表出错时出错需要停止后面task import asyncio import time async def g...
python asyncio异步编程
weixin_45859193的博客
08-27 812
文章目录一、asyncio(async await)异步编程1.初识asyncio2.什么是协程?2.1 greenlet实现协程2.2 yield关键字实现协程2.3 asyncio异步实现协程2.4 async & await关键字3.异步编程3.1 协程的意义3.2 事件循环3.3 快速上手3.4 异步迭代器3.5 异步上下文管理4.异步实战案例4.1 uvloop4.1 异步redis4.2 异步MySQL4.3 FastAPI框架 一、asyncio(async await)异步编程 1
python asyncio (协程、异步编程)
I_AM_MD的博客
12-14 917
asyncio （Asynchronous I/O）模块是一个异步代码库，它提供了一种基于协程（coroutine）和事件循环（event loop）的编程模型。是很多python异步架构的基础，多用于处理高并发网络请求方面的问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

像风一样的男人@

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值