请列举你碰到的 CPU 密集型的应用场景，你有做哪些优化

最新推荐文章于 2025-03-29 12:03:53 发布

浪漫の土狗

最新推荐文章于 2025-03-29 12:03:53 发布

阅读量2k

点赞数 2

文章标签：大数据 hadoop spark

本文链接：https://blog.csdn.net/weixin_59295776/article/details/122472119

版权

本文解析了CPU密集型和I/O密集型的区别，前者强调大量计算如机器学习，后者关注于频繁的输入输出操作。文章还介绍了如何优化CPU密集型任务的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1）CPU 密集型指的是系统的硬盘/内存效能相对 CPU 的效能要好很多，此时，系统运作，大部分的状况是 CPU Loading 100%，CPU 要读/写 I/O (硬盘/内存)，I/O在很短的时间就可以完成，而 CPU 还有许多运算要处理，CPU Loading 很高。->cpu是瓶颈。
I/O 密集型指的是系统的CPU效能相对硬盘/内存的效能要好很多，此时，系统运作，大部分的状况是 CPU 在等 I/O (硬盘/内存) 的读/写，此时 CPU Loading 不高。->IO是瓶颈。
2）CPU密集型主要特点是要进行大量的计算，常见应用场景有：图计算、大量的逻辑判断程序，机器学习等，Mahout其实就是针对CPU密集的一个apache项目。
优化的点主要有，1）降低任务的并行执行，务越多，花在任务切换的时间就越多，CPU执行任务的效率就越低，2）优化计算逻辑，减少计算逻辑的复杂度，3）尽量减少使用高强度压缩方式，对原始数据的压缩和解压缩会增加CPU的负担