python多线程、进程、协程以及并发、并行

风路丞

已于 2024-08-28 14:18:44 修改

阅读量491

点赞数

分类专栏： python 语言学习网络通信算法学习文章标签： python 线程进程协程线程安全

于 2023-09-18 19:10:02 首次发布

本文链接：https://blog.csdn.net/qq_19072921/article/details/132991432

版权

算法学习同时被 3 个专栏收录

40 篇文章 7 订阅

订阅专栏

python 语言学习

28 篇文章 1 订阅

订阅专栏

网络通信

7 篇文章 0 订阅

订阅专栏

并发学习

- 1、多线程、多进程、协程

1、多线程、多进程、协程

1.1 进程和线程

多线程适合IO密集型任务（如请求网页、读写文件等）;
多进程适合CPU密集型任务（指CPU计算占主要的任务，CPU一直处于满负荷状态。比如在一个很大的列表中查找元素（当然这不合理）、复杂的加减乘除等。）。
文章：Python进阶：聊聊IO密集型任务、计算密集型任务，以及多线程、多进程
多进程和多线程：都可以并发，也可并行。
文章1：并发、并行和异步
文章2：线程和进程，并发和并行（Windows系统）
同一进程下的多线程共享进程的部分资源，同时每个线程又有自己的堆栈和局部变量；
文章：进程和线程的区别 && 线程之间共享的资源
进程间互相独立，相互之间可通信。
文章：【Python】多进程线程与CPU核数

1.2 协程

（1）官方文档 asyncio — 异步 I/O
（2）其他参考
文章1：进程和线程、协程的区别
文章2：Python协程原理介绍及基本使用
文章3：Python的协程异步IO（asyncio）详解
B站：【python】asyncio的理解与入门，搞不明白协程？

这个视频里关于“await 协程对象”底层执行的逻辑讲解的有问题，作者在【python】await机制详解这个视频最开始3min给出了纠正~~~

文章4：探索 Flask 对 asyncio 的支持
文章5：为什么用 async 异步的 FastAPI 阻塞了所有请求？

1.2.1 举例理解

1、类比：
（1） uvicorn类似tomcat容器：Uvicorn 默认情况下是单进程单线程的，但是它支持多协程，这是由于它基于异步 I/O 机制，可以并行处理多个请求。

当配置了 --workers 参数时，Uvicorn 可以启动多个工作进程，每个工作进程都是单线程的。
底层是调用asyncio包的异步协程能力。
如果希望 Uvicorn 在每个工作进程内部实现多线程处理，这不是 Uvicorn 的直接功能。但是，可以通过在应用层面使用线程或进程池来实现更细粒度的并行处理，或者使用其他支持多线程的 ASGI 服务器。

（2）fastapi类似spring框架：支持异步开发的python框架；

uvicorn.run(appname, host, ip,…)里appname：
可以接受fastapi封装的app，也就是用户请求先被uvicorn转给fastapi下的app，再由app分发给对应的api接口。
也可以接受str类型的app描述，具体：假设目录结构是A/src/a.py，在a.py中定义myapp=FastAPI(title=‘xxx’)，在A/下执行python a.py来启动，那appname=‘src.a:myapp’。

（3）asyncio类似java里的异步开发三方包，底层是基于事件循环的单线程下的协程异步；

2、协程是基于事件循环的，是用户可控的。
举例：流水线（进程）上的员工A（员工是个线程），本来只干做饭的活（单任务，无需多任务协同），现在老板说，饭已经在电饭锅里煮着了（“饭做熟”这个过程需要等待），你现在反正也是闲着，去帮忙打扫下卫生（线程空闲时切换到其他任务：协程切换），这样就从单任务变多任务协程。

现在这个主线程去打扫卫生了，之前的煮饭被等待，那“饭做熟”虽然不需要主线程参与，但这个等待并不是停止，也就是说主线程把米放到了电饭锅，接着去干别的任务，“饭煮熟”这个任务其实是交给了电饭锅的煮饭功能了，而不是放锅里就一直是生米的状态。
类比，那其实当单线程下做协程切换时，被等待的协程仍然需要被执行完成的。但是就1个主线程，主线程又去执行别的协同任务了，那这个“等待”里的任务（米在锅里从生到熟的变化）到底是谁在执行？
“等待”里的任务可以是操作系统内核、用户自定义的子线程、额外的进程等不需要消耗主线程的方式来执行…

asyncio的实现原理是非阻塞IO。
（1）当应用程序发起一个非阻塞 I/O 请求时，操作系统内核会负责处理这个请求。如果数据还没有准备好（例如，网络数据包还未到达），内核会立即返回一个指示数据未准备好的信号给应用程序，而不会阻塞应用程序的线程。
（2）对于许多类型的 I/O 设备，数据传输是由直接存储器访问（DMA）控制器来处理的。这意味着 I/O 设备可以直接向内存传输数据，而无需 CPU的介入。这样，即使 CPU 正在执行其他任务，数据传输也可以独立进行。
总体，执行逻辑如下：
① 用户线程只用关注用户设定的任务，遇到需要等待的任务，可以切换到其他任务；
② 被等待的任务会由操作系统内核等不需要消耗主线程的方式来接手；
③ 当他把接手的任务执行完后，就会发出信号告诉主线程：“我已经把扔给我的等待任务做完了，你可以直接享用结果了！”
④ 用户线程收到这个信号，就去收割被等待任务的结果。
……那④中是“先停止当前正在执行的协程，然后立马去调度操作系统释放的信号结果”，还是“继续执行当前的协程，直到当前协程完成或被等待或达到某个检查点，才去重新调度操作系统释放的信号结果”呢？
……具体：asyncio 是通过事件循环来实现这个过程，事件循环event_loop会根据当前的任务状态和内部调度策略【具体是哪种？？待学…】来决定何时执行被操作系统通知的任务。