为什么计算密集型用多进程，IO密集型用多线程

于 2023-08-02 15:09:41 发布
阅读量293 收藏
点赞数
分类专栏： 复习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56468833/article/details/132062843
版权

计算：消耗CPU；代码执行，算数，for都是计算

io：不消耗CPU；打开文件，写入文件，网络操作都是io；

       如果遇到io，该线程会释放CPU的执行权限，转而去执行别的线程

由于python有gill锁，开启多条线程，同一时刻只能有一条线程执行

计算密集型

开了多线程，实际上由于gill锁的存在，同一时刻只能有一个线程在执行，就会浪费多核优势

我们希望能够充分利用多核优势，让每个CPU都能利用起来，所以开启进程

因为gill锁只能锁住同一个进程下的线程

开启多个进程就能利用多核优势

io密集型

只要遇到io就会释放CPU的执行权限

进程内开了多个io线程，线程多半都在等待，开启多进程不能提高效率，反而消耗资源，所以使用多线程即可

好像我也不了解她
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 多线程+多进程简单使用教程，如何在多进程开多线程
12-20
一、Python多进程多线程 关于python多进程多线程的相关基础知识，在我之前的博客有写过，并且就关于python多线程的GIL锁问题，也在我的一篇博客中有相关的解释。 为什么python多线程在面对IO密集型任务的时候会产生加速作用？ 为什么python多线程在面对CPU计算密集型任务的时候不仅起不到加速作用，反而加长了计算时间？ 相关传送门： 进程，线程，协程关系：https://blog.csdn.net/qq_35869630/article/details/105747155 python线程GIL：https://blog.csdn.net/qq_35869630/articl
关于Python 多线程为何适合IO密集型任务
replat-xin
01-07 2101
io密集型任务，一般情况下，io有发送数据（output）和返回数据（input）两个过程。就是发送消息，等待返回消息。python多线程在处理io的时候，一个线程获得GIL发送消息，然后等待返回消息（阻塞），python此时释放GIL, 其他线程得到GIL发送消息，然后同样等待返回消息（阻塞）......，这样保证了IO传输过程时间的合理利用，提高io传输效率。 关于GIL的工作方式：http...
对于计算密集型的任务，使用Python多线程并不会显著提高CPU利用率。
qq_44993593的博客
02-20 1007
需要注意的是，由于GIL只是保护了Python解释器内部数据结构的一致性，因此对于I/O密集型的任务，使用多线程仍然可以提高程序的并发性能，因为线程可以在等待I/O时释放GIL，从而让其他线程执行Python代码。最近在做一个对多个文件进行数据抽取的任务，尝试使用python多线程后发现处理性能并没有提高，查看资源管理器发现CPU利用率也没有提高多少，多方调查发现，python对于多线程的实现并不好，对于计算密集型的任务使用多线程提升的性能有限。在使用Python多线程时，由于。
python io密集 多线程_IO密集型任务/计算密集型任务，分别适合采用python多线程or多进程...
weixin_39964573的博客
12-06 329
首先一点，这里无论是IO密集型任务还是计算密集型任务，都默认存在可并行的子任务，如果任务中每一步都必须串行，那么讨论该问题没有意义。另外，默认多核CPU或多个CPU，否则多进程也没有意义。对于IO密集型任务，由于CPU经常需要等待IO操作完成，因此，在等待过程中，CPU可以去做其他事情，因此采用多线程可以提高程序执行效率，这实质是并发处理。当然，由于多进程可以利用多核CPU真正实现并行处理，所以，...
Python进阶：聊聊IO密集型任务、计算密集型任务，以及多线程、多进程
热门推荐
3569
05-05 1万+
https://zhuanlan.zhihu.com/p/24283040IO密集型任务 VS 计算密集型任务所谓IO密集型任务，是指磁盘IO、网络IO占主要的任务，计算量很小。比如请求网页、读写文件等。当然我们在Python中可以利用sleep达到IO密集型任务的目的。所谓计算密集型任务，是指CPU计算占主要的任务，CPU一直处于满负荷状态。比如在一个很大的列表中查找元素（当然这不合理），复杂的...
对CPU密集型计算和IO密集型运算，应该选择多进程还是多线程？
qq_23183809的博客
06-04 2218
最近在看python多线程部分，看了一些资料说对于Python如果是CPU密集型应该用多进程模型，如果是IO密集型应该用多线程模型。后者可以理解。但是，为什么CPU密集型的要用多进程呢？不是进程占用的资源很多，进程切换就占用很多CPU资源，这样合理吗？ Neo Ko 无 12 人赞同了该回答 Python，特指CPython的实现，由于GIL的存在，CPython不能有效的利用多核处理器。表现为任意时间一个进程只有一个线程在跑，而IO密集型运算，多数是在IO读写将线程堵塞掉了，这个时候线程切换...
线程池应用之如何合理配置线程数
lixinkuan的博客
07-03 7416
一、线程池如何配置合理线程数 （1）CPU密集型： 定义：CPU密集型的意思就是该任务需要大量运算，而没有阻塞，CPU一直全速运行。 CPU密集型任务只有在真正的多核CPU上才可能得到加速（通过多线程）。 CPU密集型任务配置尽可能少的线程数。 CPU密集型线程数配置公式：CPU核数+1个线程的线程池 （2）IO密集型： ...
为什么说IO密集型业务，线程数是CPU数的2倍？
最新发布
2301_78588786的博客
07-16 289
如果I/O请求的速度比较快，和CPU的耗时对等的时候，我们把处理I/O的线程数，设置成 CPU 的 2倍，是合理的。但现实中并没有这么多如果，我们要处理秒成千上万的I/O请求，注定了它的耗时要比CPU多的多。对于一个Tomcat来说，它处理的大多数都是I/O密集型的业务，可以说是最好的实践场景。大部分I/O请求，在发起之后，就进入等待状态，这个等待状态不会浪费CPU，所以一台机器在同一时刻支持的I/O请求，可以很多。I/O请求不仅仅指的是磁盘读写，在互联网服务中更多指的是网络I/O请求。
IO密集型任务, 计算密集型任务, 多线程, 多进程
夜空中最亮的星
01-28 2013
IO密集型任务, 计算密集型任务, 多线程, 多进程. IO 密集型任务, 是指磁盘 IO、网络 IO 占主要的任务, 计算量很小。比如请求网页, 读写文件等. 计算密集型任务, 是指 CPU 计算占主要的任务, CPU 一直处于满负荷状态. 多线程: 多线程即在一个进程中启动多个线程执行任务. 一般来说使用多线程达到并行的目的, 但由于 Python 中使用了全局解释锁 GIL 的概念, 导...
IO密集型 CPU密集型 多线程 多进程
Mr.horse的博客
06-27 2501
IO密集型可以多线程。比如有一个任务，执行10万次循环，每次都打印hello world，然后休眠1秒，如果单线程，需要10万秒完成，如果10个线程，就只需要1万秒。 CPU密集型尽量少点线程。还是上面那个任务，不同的是取消休眠，如果是单线程，几乎一下完成，如果是多线程会慢很多，而且随着线程数越多，速度会越慢，因为线程的切换是要时间的。所以要不要多线程就看IO要不要很花时间。 ...
Python中单线程、多线程和多进程的效率对比实验
12-22
Python是运行在解释器中...如果是IO密集型，多线程进程可以利用IO阻塞等待时的空闲时间执行其他线程，提升效率。所以我们根据实验对比不同场景的效率 　操作系统 CPU 内存 硬盘 Windows 10 双核 8GB 机械硬盘 (1)引入
Python 多进程、多线程效率对比
01-19
Python 界有条不成文的准则： 计算密集型任务适合多进程，IO 密集型任务适合多线程。本篇来作个比较。 通常来说多线程相对于多进程有优势，因为创建一个进程开销比较大，然而因为在 python 中有 GIL 这把大锁的存在...
Python中单线程、多线程和多进程的效率对比实验实例
01-01
python的多进程性能要明显优于多线程，因为cpython的GIL对性能做了约束。...如果是IO密集型，多线程进程可以利用IO阻塞等待时的空闲时间执行其他线程，提升效率。所以我们根据实验对比不同场景的效率 操作系统 C
Python多进程并发与多线程并发编程实例总结
12-25
本文实例总结了Python多进程并发与多线程并发。分享给大家供大家参考，具体如下： 这里对python支持的几种并发方式进行简单的总结。 Python支持的并发分为多线程并发与多进程...Mark Summerfield指出，对于计算密集型
【Python】学习多线程，多进程，多协程
lengyer的博客
08-20 287
Python多线程 参考 https://www.bilibili.com/video/BV1bK411A7tV?p=1 CPU密集型计算 CPU密集型（CPU—bound） CPU密集型也叫做计算密集型，是指I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率高 例如：压缩解压缩、加密解密、正则表达式搜索 IO密集型计算 IO密集型指的是系统运作大部分的状况是CPU在等I/O（硬盘/内存）的读/写操作，CPU占用率低 例如：文件处理程序、网络爬虫程序、读写数据库程
什么是CPU密集型、IO密集型？什么是多进程与线程和协程？并行与并发？
qq_15821487的博客
08-25 2425
【联系】：线程与进程的联系1.一个线程只能属于一个进程，而一个进程可以有多个线程，但至少有一个线程；2.资源分配给进程，同一进程的所有线程共享该进程的所有资源；3.处理机分给线程，即真正在处理机上运行的是线程；4.线程在执行过程中，需要协作同步。不同进程的线程间要利用消息通信的办法实现同步。操作系统的设计，因此可以归结为三点：（1）以多进程形式，允许多个任务同时运行；（2）以多线程形式，允许单个任务分成不同的部分运行；
python中IO密集型为什么用多线程？
有你真好的博客
10-12 956
python多线程，可以粗浅理解只用了cpu的一个核心。 为什么IO密集型用多线程？假设我们有多个线程都在发网络请求(request， 等response)，一个请求的从发出到接收的过程中cpu大多时间都是在等。 所以，当前线程发出请求后，由于不占用cpu资源，可以阻塞等待，然后cpu执行权可以被另外一个线程所享有去发网络请求。 IO密集型，单个CPU利用率很低，可能只有10%，所以多线程可以提升cpu利用率,可能10个线程才能打满一个核心， 从而多线程也有并行的效果。 ...
python 为什么io密集要用多线程
qq_32446743的博客
05-10 4383
IO传输过程分为：发送消息，等待返回消息。python多线程在处理io的时候，一个线程获得GIL发送消息，然后等待返回消息（阻塞），python此时释放GIL, 其他线程得到GIL发送消息，然后同样等待返回消息（阻塞）......，这样保证了IO传输过程时间的合理利用，提高io传输效率。但是基于一个cpu时间片只能运行一个线程(GIL)，所以多线程在多个cpu利用中，并不会提高程序效率，反而还会因...
进程 VS 线程
wiki_lsh的博客
11-08 220
什么是进程？线程？ 进程：当用户下达运行程序的命令后，就会产生进程。同一程序可产生多个进程（一对多关系），以允许同时有多位用户运行同一程序，却不会相冲突。进程需要一些资源才能完成工作，如CPU使用时间、存储器、文件以及I/O设备，且为依序逐一进行，也就是每个CPU核心任何时间内仅能运行一项进程。 线程：是操作系统能够进行运算调度的最小单位。大部分情况下，它被包含在进程之中，是进程中的实际...
什么时候用多进程,什么时候用多线程
04-28
用多进程适合于CPU密集型任务，例如进行大量的计算、数据处理等，因为多进程可以利用多个CPU核心来并行执行任务，提高执行效率。而用多线程适合于IO密集型任务，例如进行网络通信、文件读写等，因为多线程可以在等待IO操作时让CPU去执行其他任务，提高CPU的利用率，从而提高效率。但是需要注意的是，多进程和多线程都会增加系统的负担和复杂度，因此需要根据具体情况进行选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值