多线程、多进程、协程

本文探讨了协程在Python中的优势,尤其是在计算密集型任务中的高效执行,通过结合多进程和协程,如何充分利用多核CPU并避免线程切换开销。此外,文章提及了协程与多线程的区别,以及协程在数据预处理和深度学习框架中的应用实例。
摘要由CSDN通过智能技术生成

python多线程不适合计算密集型任务,适合IO密集型任务,多进程适用于计算密集型任务。
参考:https://blog.csdn.net/qq_39338671/article/details/87457812

多进程获取函数的返回值

参考:https://segmentfault.com/q/1010000010403117/a-1020000010411306
https://blog.csdn.net/u013176681/article/details/77340320

多进程数据预处理,生成dataset,喂入tensorflow网络中

参考:https://blog.csdn.net/qq_22033759/article/details/88772073

协程

参考:https://www.liaoxuefeng.com/wiki/897692888725344/923057403198272
使用多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。
但协程的特点在于是一个线程执行,那和多线程比,协程有何优势?

最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显。

第二大优势就是不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多。

因为协程是一个线程执行,那怎么利用多核CPU呢?最简单的方法是多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。

Python对协程的支持还非常有限,用在generator中的yield可以一定程度上实现协程。虽然支持不完全,但已经可以发挥相当大的威力了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值