CPU密集型 vs IO密集型

CPU密集型(CPU-bound)

CPU密集型也叫计算密集型,指的是系统的硬盘、内存性能相对CPU要好很多,此时,系统运作大部分的状况是CPU Loading 100%,CPU要读/写I/O(硬盘/内存),I/O在很短的时间就可以完成,而CPU还有许多运算要处理,CPU Loading很高。

在多重程序系统中,大部份时间用来做计算、逻辑判断等CPU动作的程序称之CPU bound。例如一个计算圆周率至小数点一千位以下的程序,在执行的过程当中绝大部份时间用在三角函数和开根号的计算,便是属于CPU bound的程序。

CPU bound的程序一般而言CPU占用率相当高。这可能是因为任务本身不太需要访问I/O设备,也可能是因为程序是多线程实现因此屏蔽掉了等待I/O的时间。

IO密集型(I/O bound)

IO密集型指的是系统的CPU性能相对硬盘、内存要好很多,此时,系统运作,大部分的状况是CPU在等I/O (硬盘/内存) 的读/写操作,此时CPU Loading并不高。

I/O bound的程序一般在达到性能极限时,CPU占用率仍然较低。这可能是因为任务本身需要大量I/O操作,而pipeline做得不是很好,没有充分利用处理器能力。

CPU密集型 vs IO密集型

我们可以把任务分为计算密集型和IO密集型。

计算密集型任务的特点是要进行大量的计算,消耗CPU资源,比如计算圆周率、对视频进行高清解码等等,全靠CPU的运算能力。这种计算密集型任务虽然也可以用多任务完成,但是任务越多,花在任务切换的时间就越多,CPU执行任务的效率就越低,所以,要最高效地利用CPU,计算密集型任务同时进行的数量应当等于CPU的核心数。

计算密集型任务由于主要消耗CPU资源,因此,代码运行效率至关重要。Python这样的脚本语言运行效率很低,完全不适合计算密集型任务。对于计算密集型任务,最好用C语言编写。

第二种任务的类型是IO密集型,涉及到网络、磁盘IO的任务都是IO密集型任务,这类任务的特点是CPU消耗很少,任务的大部分时间都在等待IO操作完成(因为IO的速度远远低于CPU和内存的速度)。对于IO密集型任务,任务越多,CPU效率越高,但也有一个限度。常见的大部分任务都是IO密集型任务,比如Web应用。

IO密集型任务执行期间,99%的时间都花在IO上,花在CPU上的时间很少,因此,用运行速度极快的C语言替换用Python这样运行速度极低的脚本语言,完全无法提升运行效率。对于IO密集型任务,最合适的语言就是开发效率最高(代码量最少)的语言,脚本语言是首选,C语言最差。

总之,计算密集型程序适合C语言多线程,I/O密集型适合脚本语言开发的多线程。

根据任务所需要的cpu和io资源的量可以分为

CPU密集型任务:

主要是执行计算任务,响应时间很快,cpu一直在运行,这种任务cpu的利用率很高

IO密集型任务:

主要是进行IO操作,执行IO操作的时间较长,这是cpu出于空闲状态,导致cpu的利用率不高
为了合理最大限度的使用系统资源同时也要保证的程序的高性能,可以给CPU密集型任务和IO密集型任务配置一些线程数。

CPU密集型:线程个数为CPU核数。

这几个线程可以并行执行,不存在线程切换到开销,提高了cpu的利用率的同时也减少了切换线程导致的性能损耗

IO密集型:线程个数为CPU核数的两倍。

到其中的线程在IO操作的时候,其他线程可以继续用cpu,提高了cpu的利用率

线程池是一种多线程处理形式,它能够在多核处理器上运行多个线程,提高资源利用率。合理的线程池配置可以有效提高应用程序处理任务的效率,对于CPU密集型任务和IO密集型任务,通常有不同的配置策略。 CPU密集型任务通常涉及到计算量大、计算密集的操作,例如图形处理、数值计算等。这类任务主要消耗CPU资源,对CPU的利用率接近100%。对于CPU密集型任务,线程池的配置应当尽量减少上下文切换的开销,并且充分发挥CPU的处理能力。通常,CPU密集型任务的线程池大小可以配置为CPU核心数加一,这样可以利用多核优势,又不至于因为过多的线程导致频繁的上下文切换。 IO密集型任务则通常涉及到大量等待IO操作完成的情况,例如网络请求、文件读写等。这类任务的特点是CPU使用率并不高,但有大量的等待时间。为了提高效率,线程池的大小应该配置得更大,以便在等待IO操作时,CPU可以处理其他任务。IO密集型任务的线程池大小可以是CPU核心数的两倍左右,这样可以保持较高的CPU利用率,同时减少因等待IO操作而导致的线程空闲时间。 具体到线程池参数的配置,可以采用以下方法: 对于CPU密集型任务,可以配置一个固定大小的线程池,大小为`CPU核心数 + 1`: ```java int corePoolSize = Runtime.getRuntime().availableProcessors() + 1; ThreadPoolExecutor executor = new ThreadPoolExecutor(corePoolSize, corePoolSize, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue<>()); ``` 对于IO密集型任务,可以配置一个更大的固定大小或可变大小的线程池,大小可以设置为`CPU核心数 * 2`: ```java int corePoolSize = Runtime.getRuntime().availableProcessors() * 2; ThreadPoolExecutor executor = new ThreadPoolExecutor(corePoolSize, corePoolSize, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue<>()); ``` 在实际应用中,线程池的配置还需要考虑具体的应用场景和需求,以及系统的资源状况,可能需要经过多次调整和测试才能得到最优配置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值