python异步IO和协程

最新推荐文章于 2024-07-15 08:30:00 发布
最新推荐文章于 2024-07-15 08:30:00 发布
阅读量1k 收藏
点赞数 1
分类专栏： 现代程序设计技术 文章标签： python java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46530492/article/details/122039130
版权
本文介绍了Python中的IO模型，包括同步IO和异步IO的事件驱动模型与事件列表模型。接着深入探讨了协程的概念，阐述了Event Loop的工作原理以及协程的优点和缺点。文中还详细讲解了如何通过gevent、asyncio和aiofiles实现协程，特别是异步文件读写。
摘要由CSDN通过智能技术生成

文章目录

IO模型
同步IO
  • 在IO过程中当前线程被挂起，当前线程其他需要CPU计算的代码无法执行
    • 一般的io是同步的
    • 多线程可解决该问题
  • 计算和IO任务可以由不同的线程负责
  • 但会带来线程创建、切换的成本，而且线程数不能无上限地增加
异步IO

当前线程只发出IO指令，但不等待其执行结束，而是先执行其他代码，避免线程因IO操作而阻塞

事件驱动模型
  • 一种编程范式，程序执行流由外部事件决定
  • 包含一个事件循环，当外部事件发生时使用回调机制来触发相应的处理
  • 可能的实现机制
    • 每收到一个请求，创建一个新的进程来处理该请求；
    • 每收到一个请求，创建一个新的线程来处理该请求；
    • 每收到一个请求，放入一个事件列表让主进程通过非阻塞IO方式来处理请求
  • 一般场景
    当程序中有许多任务，任务之间高度独立（不需要互相通信或等待彼此等），并且在等待事件到来时，某些任务会阻塞
事件列表模型
    <
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Cachel wood
关注
专栏目录
订阅专栏
【Python进阶】协程和异步 IO
风口IT猪的成长录
09-02 732
协程和异步 IO1. 协程的概念2. yield 的使用3. send 发送数据4. 异步 IO（ asyncio） 协程5. asyncio6. 定义一个协程7. 创建一个 task8. 绑定回调9. future 与 result10. 阻塞和 await11. 并发和并行12. 协程嵌套13. 协程停止 1. 协程的概念 协程，又称微线程，纤程。英文名 Coroutine，是一种用户态的轻量级线程。 子程序，或者称为函数，在所有语言中都是层级调用，比如 A 调用 B，B 在执行过程 中又调用了 C，C
异步IO：Python中的协程
WingC的博客
12-07 655
我们在实际的问题中会遇到一些堵塞线程的场景，比如UI程序进行耗时的计算阻塞主线程；进行IO操作，比如读写文档或者网络传输时会阻塞线程等等，之前我采用的是使用多进程+多线程的处理方式，但这种方式相比于协程来说都比较慢，特别是在Windows操作系统下启动一个线程是开销很大的，因此掌握Python中的协程对于处理一些高并发需求来说是非常重要的，看完了廖雪峰的官方网站–异步IO后我总结了一下我对于协程的理
python 协程与异步IO
最新发布
Chujun123528的博客
07-15 1046
又称微线程，是一种用户态的轻量级线程。与操作系统层面的线程不同，协程的调度完全由用户控制，无需操作系统介入。这使得协程的切换开销远低于线程，能够实现更高的并发性能。Python中的协程主要依赖asyncio库实现。asyncio是Python 3.4版本引入的标准库，用于编写单线程并发代码。它使用事件循环（event loop）来调度和执行协程。异步IO是一种非阻塞的IO操作模式。在异步IO中，当应用程序发起IO请求时，它不会等待IO操作完成，而是立即返回并继续执行其他任务。
异步io和协程
weixin_30753873的博客
02-24 169
常见的异步io模块asyncio、gevent、twisted、tornado 核心技术为select()和协程 异步io请求的本质则是【非阻塞Socket】+【IO多路复用】 协程在这里不是一个必须使用的技术，在使用select()事件驱动循环本身就可以达到单线程异步的效果 io协程在遇到阻塞时进行切换，其实现需要依赖select()事件循环进行切换 协程本质是一种上下文切换...
异步IO和协程
anpinmao8082的博客
06-02 135
1-1.并行：真的多任务执行（CPU核数>=任务数）；即在某个时刻点上，有多个程序同时运行在多个CPU上 1-2.并发：假的多任务执行（CPU核数<任务数）；即一段时间内，有多个程序在同一个CPU上运行 2-1.同步：同步是指代码调用IO操作时，必须等待IO操作完成才返回的调用方式 2-2.异步：同步是指代码调用IO操作时，不必等待IO操作完成才返回的调用方式 3-1...
异步IO、协程
丰伟磊的博客
12-10 525
python中的异步IO、协程
Python下异步IO和协程简介
GVFDBDF的专栏
10-19 3252
1、协程（coroutine） 协程（coroutine）也是一种程序组件。相对子例程而言，协程更为一般和灵活，但在实践中使用没有子例程那样广泛。协程不是进程或线程，其执行过程更类似于子例程，或者说不带返回值的函数调用。一个程序可以包含多个协程，可以对比与一个进程包含多个线程，因而下面我们来比较协程和线程。我们知道多个线程相对独立，有自己的上下文，切换受系统控制；而协程也相对独立，有自己的上下文
Python 异步 IO 、协程、asyncio、async/await、aiohttp
墨鱼菜鸡
07-11 1137
From ：廖雪峰异步IO ：https://www.liaoxuefeng.com/wiki/1016959663602400/1017959540289152 Python Async/Await入门指南 ：https://zhuanlan.zhihu.com/p/27258289 Python 生成器 和 yield 关键字：https:/...
Python 携程_异步IO 10协程嵌套.mp4
02-09
Python 携程_异步IO 10协程嵌套.mp4
异步IO——协程与任务
菜鸟笔记
11-12 205
link: asyncio — 异步 I/O 高层级API 协程 import asyncio import time async def say_after(delay, what): await asyncio.sleep(delay) print(what) async def main(): task1 = asyncio.create_task( say_after(1, 'hello')) task2 = asyncio.crea.
Python协程和异步IO
爱吃辣椒的锅包肉
08-15 401
一、并发、并行、同步、异步、阻塞、非阻塞 并发: 一个时间段内，有几个程序在同一个CPU上运行，但是任意时刻只有一个程序在CPU上运行。 并行: 任何时间点，有多个程序运行在多个CPU上（最多和CPU数量一致）。 同步: 是指代码调用IO操作时，必须等待IO操作完成才能返回的调用方式。 异步: 是指代码调用IO操作时，不必等待IO操作完成就能返回的调用方式。 阻塞: 调用函数的时候当前线程被挂起。 非阻塞: 是指调用函数的时候当前线程不会被挂起，而是立即返回。 ...
python异步IO(asyncio)协程实战
u011089760的博客
05-23 1320
1.概念描述： asyncio 是用来编写并发代码的库，使用async/await语法。 asyncio 被用作多个提供高性能 Python 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任务队列等等。 asyncio 往往是构建 IO 密集型和高层级结构化网络代码的最佳选择 event_loop 事件循环：程序开启一个无限的循环，程序员会把一...
[Python笔记11] 协程和异步IO
wong_faye的博客
05-20 265
1.并发、并行、同步、异步、阻塞、非阻塞 并发是指在一个时间段内，有几个程序在同一个CPU上运行，但是任意时刻只能有一个程序在CPU上运行。 并行是指任意时刻点上，有多个程序同时运行在多个CPU上。 同步是指代码调用IO操作时，必须等待IO操作完成才返回的调用方式。 异步是指代码调用IO操作时，不必等IO操作完成就返回的调用方式。 阻塞是指调用函数的时候当前线程被挂起。 非阻塞是指调用函数的时候当前线程不会被挂起，而是立即返回。 2.IO多路复用 ...
协程 异步IO
weixin_30411819的博客
06-18 115
协程 协程：又称微线程，纤程。英文名Coroutine。 子程序：或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。 所以子程序调用是通过栈实现的，一个线程就是执行一个子程序。 子程序调用总是一个入口，一次返回，调用顺序是明确的。而协程的调用和子程序不同。 协程看上去也是子程序，但执行过程中，在子程序内部可中...
Python 高级编程之协程和异步 IO
David's Notes
12-19 1309
Python 高级编程之协程和异步 IO1. 并发、并行、同步、异步、阻塞、非阻塞 1. 并发、并行、同步、异步、阻塞、非阻塞 并发：一个时间段内，有几个程序在同一个 CPU 上运行，但是任意时刻只有一个程序在 CPU 上运行。 并行：在任意时刻点上，有多个程序同时运行在**多个 CPU **上。如果 CPU 有个四颗，那么并行最多只有四个。 基于以上，我们都说高并发，不说高并行。 同步：指代码...
深入异步IO框架：asyncio 中篇
王炳明
10-26 618
今天的内容其实还挺多的，我准备了三天，到今天才整理完毕。希望大家看完，有所收获的，能给小明一个赞。这就是对小明最大的鼓励了。 为了更好地衔接这一节，我们先来回顾一下上一节的内容。 上一节，我们首先介绍了，如何创建一个协程对象. 主要有两种方法 通过async关键字， 通过@asyncio.coroutine 装饰函数。 然后有了协程对象，就需要一个事件循环容器来运行我们的协程。其主要的步骤有如下几点： 将协程对象转为task任务对象 定义一个事件循环对象容器用来存放task 将task任务扔进事件循环
python异步io协程处理文件_Python异步IO之协程(一):从yield from到async的使用
weixin_40006185的博客
12-21 175
引言：协程(coroutine)是Python中一直较为难理解的知识，但其在多任务协作中体现的效率又极为的突出。众所周知，Python中执行多任务还可以通过多进程或一个进程中的多线程来执行，但两者之中均存在一些缺点。因此，我们引出了协程。Tips欲看完整代码请见：我的GitHub为什么需要协程？首先，我们需要知道同步和异步是什么东东，不知道的看详解。简单来说：【同步】：就是发出一个“调用”时，在没...
Python协程与异步IO详解
"这篇文档详细介绍了Python中的协程和异步IO的概念，强调了协程在编程中的重要性和优势。协程是一种轻量级线程，由程序自身调度，允许在同一线程内中断并执行其他任务，然后在中断点继续执行，无需系统级别的线程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cachel wood

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值