进程、线程、协程间的特性决定了它们的应用场景不同:
协程常用于IO密集型工作,例如网络资源请求等;而进程、线程常用于计算密集型工作,例如科学计算、人工神经网络等。
接下来对每种并发编程方法进行详细阐述。
2 进程与多进程
Python多进程依赖于标准库mutiprocessing
,进程类Process
的常用方法如下
序号 | 方法 | 含义 |
---|---|---|
1 | start() | 创建一个Process子进程实例并执行该实例的run()方法 |
2 | run() | 子进程需要执行的目标任务 |
3 | join() | 主进程阻塞等待子进程直到子进程结束才继续执行,可以设置等待超时时间timeout |
4 | terminate() | 终止子进程 |
5 | is_alive() | 判断子进程是否终止 |
6 | daemon | 设置子进程是否随主进程退出而退出 |
创建多进程任务的实例如下
import os, time
import multiprocessing
class myProcess(multiprocessing.Process):
def \_\_init\_\_(self, \*args, \*\*kwargs) -> None:
super().__init__()
self.name = kwargs['name']
def run(self):
print("process name:", self.name)
for i in range(10):
print(multiprocessing.current_process(), "process pid:",
os.getpid(), "正在执行...")
time.sleep(0.2)
if __name__ == "\_\_main\_\_":
task = myProcess(name="testProcess")
task.start()
task.join() # 该语句会阻塞主进程直至子进程结束
print("----------------")
注意:Windows系统在子进程结束后会立即自动清除子进程实例;而Linux系统子进程实例仅当主进程结束后才被回收,在子进程结束但主进程仍在运行的时间内处于僵尸进程状态,会造成性能损失甚至死锁。对子进程实例的手动回收可以通过
p.terminate()
p.join()
完成,此外,start()
函数也有清除僵尸进程的功能。在使用多进程处理任务时并非进程越多越好,因为进程切换会造成性能开销。
3 线程与多线程
Python多线程依赖于标准库threading
,线程类Thread
的常用方法如下表:
序号 | 方法 | 含义 |
---|---|---|
1 | start() | 创建一个Thread子线程实例并执行该实例的run()方法 |
2 | run() | 子线程需要执行的目标任务 |
3 | join() | 主进程阻塞等待子线程直到子线程结束才继续执行,可以设置等待超时时间timeout |
4 | is_alive() | 判断子线程是否终止 |
5 | daemon | 设置子线程是否随主进程退出而退出 |
关于线程与进程的关系,还有一个很生动的例子
把一条公路看作一道进程,那么公路上的各个车道就是进程中的各个线程。这些线程(车道)共享了进程(道路)的公共资源;这些线程(车道)之间可以并发执行(各个车道相对独立),也可以互相同步(交通信号灯)。
多线程可以通过线程锁来进行数据同步,可用于保护共享资源同时被多个线程读写引起冲突导致错误。给出一个实例:
rsrc = 10
lock = threading.Lock()
def task1(name):
global rsrc, lock
for i in range(5):
with lock:
rsrc += 1
print("task1:", rsrc)
return name + "has been done!"
def task2(name):
global rsrc, lock
for i in range(5):
lock.acquire()
rsrc -= 1
print("task2:", rsrc)
lock.release()
return name + "has been done!"
结果如下
在多线程并发过程中,若没有控制好线程间的执行逻辑,将可能产生死锁现象,可以使用with
关键词在线程访问临界区结束后自动释放锁,也可使用release()
方法手动释放句柄。
4 协程与多协程
协程适用于I/O密集型而非计算密集型场景。在协程发起I/O请求后返回结果前往往有大量闲置时间——该时间可能用于网络数据传输、获取协议头、服务器查询数据库等,而I/O请求本身并不耗时,因此协程可以发送一个请求后让渡给系统干别的事,这就是协程提高性能的原因。
协程编程的框架如下:
- 创建协程对象并将其封装成任务实例;
- 创建事件循环实例并监听任务队列;
- 获取协程结果(可在事件循环结束后获取,或提前添加回调函数)。
一个嵌套协程的示例如下:
import asyncio, time
# 内层协程
async def do\_some\_work(x):
print('Waiting: ', x)
await asyncio.sleep(x)
return 'Done after {}s'.format(x)
现在能在网上找到很多很多的学习资源,有免费的也有收费的,当我拿到1套比较全的学习资源之前,我并没着急去看第1节,我而是去审视这套资源是否值得学习,有时候也会去问一些学长的意见,如果可以之后,我会对这套学习资源做1个学习计划,我的学习计划主要包括规划图和学习进度表。
分享给大家这份我薅到的免费视频资料,质量还不错,大家可以跟着学习
![](https://img-blog.csdnimg.cn/img_convert/21b2604bd33c4b6713f686ddd3fe5aff.png)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友,可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**