对CPU密集型计算和IO密集型运算，应该选择多进程还是多线程？

最新推荐文章于 2024-05-27 16:56:40 发布
最新推荐文章于 2024-05-27 16:56:40 发布
阅读量2.3k 收藏 3
点赞数 1
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23183809/article/details/117553872
版权
Python的多线程由于GIL限制，在CPU密集型任务中效率不高，更适合IO密集型任务，因为线程在等待IO时可以切换，提高资源利用率。而CPU密集型任务需要多进程来利用多核CPU资源，虽然进程切换成本高，但能确保计算效率。
摘要由CSDN通过智能技术生成

 

最近在看python多线程部分，看了一些资料说对于Python如果是CPU密集型应该用多进程模型，如果是IO密集型应该用多线程模型。后者可以理解。但是，为什么CPU密集型的要用多进程呢？不是进程占用的资源很多，进程切换就占用很多CPU资源，这样合理吗？

Neo Ko

无

12 人赞同了该回答

Python，特指CPython的实现，由于GIL的存在，CPython不能有效的利用多核处理器。表现为任意时间一个进程只有一个线程在跑，而IO密集型运算，多数是在IO读写将线程堵塞掉了，这个时候线程切换是很合理的，反正线程只是单纯地等待，在这个等待的时候去做其他的事情，资源利用率就上去了。

发布于 2015-04-27

​赞同 12​​添加评论

​分享

​收藏​喜欢

继续浏览内容

知乎

发现更大的世界

打开

Chrome

继续

最低0.47元/天 解锁文章
qq_23183809
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python之多进程和多线程的使用场景（计算密集型、IO密集型）
m0_50481455的博客
02-21 692
python之多进程和多线程的使用场景（计算密集型、IO密集型） 关于多进程和多线程——很多人可能会很纳闷，这两个的有什么区别吗？为什么还要分两种？ 下边我将给大家进行举例展示，剖析二者： 计算密集型：单个进程的多线程并发VS多个进程的并发并行 from threading import Thread from multiprocessing import Process import time import random def task(): count = 0 for i in ra
怎么理解CPU密集型和I/O密集型
旷野历程
09-14 2014
怎么理解CPU密集型和I/O密集型
3-什么是GIL锁，有什么作用？python的垃圾回收机制是什么样的？解释为什么计算密集型用多进程，io密集型用多线程。什么是I/O
linjun的博客
11-15 248
什么是GIL锁，有什么作用？python的垃圾回收机制是什么样的？解释为什么计算密集型用多进程，io密集型用多线程。
进程适合计算密集型，线程适合io密集型
最新发布
chengjiaxin2004的博客
05-27 172
综上所述，虽然线程的崩溃可能会对其他线程产生一定影响，但在IO密集型任务中，这种影响通常较小，并且可以通过合适的错误处理和恢复机制来缓解。2. **错误处理和恢复机制：** 通常情况下，IO密集型任务会使用适当的错误处理和恢复机制来处理线程崩溃引起的异常情况。3. **数据隔离：** 在IO密集型任务中，通常会采用适当的数据隔离措施来确保不同线程之间的数据不会相互干扰。追问：线程的崩溃会影响到其他线程，因为这个缺点，导致计算密集型任务使用进程更加，那线程的这个缺点为什么不会影响io密集型任务呢。
IO密集型 CPU密集型 多线程 多进程
Mr.horse的博客
06-27 2589
IO密集型可以多线程。比如有一个任务，执行10万次循环，每次都打印hello world，然后休眠1秒，如果单线程，需要10万秒完成，如果10个线程，就只需要1万秒。 CPU密集型尽量少点线程。还是上面那个任务，不同的是取消休眠，如果是单线程，几乎一下完成，如果是多线程会慢很多，而且随着线程数越多，速度会越慢，因为线程的切换是要时间的。所以要不要多线程就看IO要不要很花时间。 ...
IO密集型任务, 计算密集型任务, 多线程, 多进程
夜空中最亮的星
01-28 2075
IO密集型任务, 计算密集型任务, 多线程, 多进程. IO 密集型任务, 是指磁盘 IO、网络 IO 占主要的任务, 计算量很小。比如请求网页, 读写文件等. 计算密集型任务, 是指 CPU 计算占主要的任务, CPU 一直处于满负荷状态. 多线程: 多线程即在一个进程中启动多个线程执行任务. 一般来说使用多线程达到并行的目的, 但由于 Python 中使用了全局解释锁 GIL 的概念, 导...
Python进阶：聊聊IO密集型任务、计算密集型任务，以及多线程、多进程
3569
05-05 1万+
https://zhuanlan.zhihu.com/p/24283040IO密集型任务 VS 计算密集型任务所谓IO密集型任务，是指磁盘IO、网络IO占主要的任务，计算量很小。比如请求网页、读写文件等。当然我们在Python中可以利用sleep达到IO密集型任务的目的。所谓计算密集型任务，是指CPU计算占主要的任务，CPU一直处于满负荷状态。比如在一个很大的列表中查找元素（当然这不合理），复杂的...
多线程还是多进程的选择及区别
weixin_30888707的博客
09-18 178
对比维度 多进程 多线程 总结 数据共享、同步 数据共享复杂，需要用IPC；数据是分开的，同步简单 因为共享进程数据，数据共享简单，但也是因为这个原因导致同步复杂 各有优势 内存、CPU 占用内存多，切换复杂，CPU利用率低 占用内存少，切换简单...
Python CPU密集型对IO密集型 多进程更优于多线程 GIL
Maoning Guan的博客
10-16 1464
转载来源：https://blog.csdn.net/lambert310/article/details/50605748 CPU密集型和IO密集型 最近在看Python的多线程，经常我们会听到老手说：“python下多线程是鸡肋，推荐使用多进程！”，但是为什么这么说呢？ 要知其然，更要知其所以然。所以有了下面的深入研究： 首先强调背景： 1、GIL是什么？ GIL的全称是Global Interpreter Lock(全局解释器锁)，来源是python设计之初的考虑，为了数据安全所做的决定。2、每个CP
为什么计算密集型用多进程，IO密集型用多线程
weixin_56468833的博客
08-02 371
计算：消耗CPU；代码执行，算数，for都是计算io：不消耗CPU；打开文件，写入文件，网络操作都是io；如果遇到io，该线程会释放CPU的执行权限，转而去执行别的线程由于python有gill锁，开启多条线程，同一时刻只能有一条线程执行。
CPU密集型计算、IO密集型计算、多进程、多线程
llf000000的博客
01-18 752
CPU密集型也叫计算密集型，是指I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率相当高。例如：压缩解压缩、加密解密、这规则表达式搜索I/O密集型值得是系统运作大部分的状况是CPU在等I/O（硬盘/内存）的读、写操作，CPU占用率仍然较低。例如：文件处理程序、网络爬虫程序、读写数据库程序。
I/O密集型任务下，单线程、多进程、多线程、协程
全栈测试笔记
02-08 741
单线程 import time def html(url): time.sleep(0.1) print(url) if __name__=='__main__': start_time = time.time() for i in range(1,1001): i = 'http://www.cnblogs.com/uncleyong/%...
什么是CPU密集型计算、IO密集型计算与多进程、多线程、多协程
happy_wealthy的博客
06-24 3425
1、什么是CPU密集型计算、IO密集型计算？ CPU密集型（CPU-bound）： CPU密集型也叫计算密集型，是指I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率相当高 例如：压缩解压缩、加密解密、正则表达式搜索 IO密集型（I/O bound）: IO密集型指的是系统运作大部分的状况是CPU在等I/O（硬盘/内存）的读写操作，CPU占用率任然较低。 例如：文件处理程序、网络爬虫程序、读写数据库程序 2、多进程、多线程、多协程的对比 多进程Process(multiproc
多线程与多进程
weixin_48167124的博客
08-05 151
多线程与多进程常见面试题
如何选择使用多进程还是多线程
gukesdo的专栏
05-17 1315
如何选择使用多进程还是多线程 http://blog.csdn.net/shiqz/article/details/5862911 经典的一句话：“进程是资源分配的最小单位，线程是CPU调度的最小单位” 多线程的优点:a 数据共享方便（不需要进程间的通信）b 占用系统内存小 c 提高cpu利用率 多线程的缺点:a  调试困难 b  防止读写竞争，锁机制 c 编程复杂 多进程的优点:a.
node单线程？多线程？
二进制的子苏
10-11 1248
结论 1）Node是使用了v8引擎的服务器端，主要采用C/C++实现底层，底层libuv为多线程，执行不同的I/0任务 2）Node中v8引擎的JavaScript实现事务，是单线程的，每一个请求进入线程队列，若为IO则分给线程池执行，并等待结果，否则自己执行，另外：队列在单线程无新的请求的时候，所有事件开始循环执行（结束出队） 图解：JavaScript所在的v8是单线程的，即上述2中描述的，...
python中IO密集型为什么用多线程？
有你真好的博客
10-12 1017
python多线程，可以粗浅理解只用了cpu的一个核心。 为什么IO密集型用多线程？假设我们有多个线程都在发网络请求(request， 等response)，一个请求的从发出到接收的过程中cpu大多时间都是在等。 所以，当前线程发出请求后，由于不占用cpu资源，可以阻塞等待，然后cpu执行权可以被另外一个线程所享有去发网络请求。 IO密集型，单个CPU利用率很低，可能只有10%，所以多线程可以提升cpu利用率,可能10个线程才能打满一个核心， 从而多线程也有并行的效果。 ...
线程池核心线程数多少最为合适（IO密集型和CPU密集型）？
热门推荐
HU1656的博客
03-24 1万+
线程数量是否越多越好呢？ 一.CPU密集型 CPU 使用率较高（也就是一些复杂运算，逻辑处理）非常多的情况下，线程数一般只需要CPU核心数的线程就可以了。 这一类型多出现在开发中的一些业务复杂计算和逻辑处理过程中。 二.I/O密集型 CPU 使用率较低，程序中会存在大量 I/O 操作占用时间，导致线程空余时间很多，所以通常就需要开CPU核心数两倍的线程。当线程进行 I/O 操作 CPU 空闲时，启...
深入理解CPU密集型与IO密集型任务、线程池如何选择？
weixin_44440311的博客
08-22 1647
深入理解CPU密集型与IO密集型任务、线程池如何选择？
cpu密集型任务和io密集型任务有啥区别
03-14
CPU密集型任务和IO密集型任务的区别在于它们所需的资源类型不同。...对于CPU密集型任务，可以采用多线程或分布式计算等方式来提高计算效率；而对于IO密集型任务，则可以采用异步IO等方式来提高IO效率。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值