CPU密集型计算、IO密集型计算、多进程、多线程

参考链接：

使用多进程multiprocessing模块加速程序的运行_哔哩哔哩_bilibili

什么是CPU密集型计算、IO密集型计算：

CPU密集型：

CPU密集型也叫计算密集型，是指I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率相当高。

例如：压缩解压缩、加密解密、这规则表达式搜索

IO密集型：

I/O密集型值得是系统运作大部分的状况是CPU在等I/O（硬盘/内存）的读、写操作，CPU占用率仍然较低。

例如：文件处理程序、网络爬虫程序、读写数据库程序

多线程、多进程、多协程的对比

多进程Process（multiprocessing）

• 优点：可以利用多核CPU并行计算
• 缺点：占用资源最多、可启动数目比线程少
• 适用于：CPU密集型计算

多线程Thread（threading）

• 优点：相比进程，更轻量级、占用资源少
• 缺点：
  • 相比进程：多线程只能并发执行，不能利用多CPU（GIL）
  • 相比协程：启动数目有限制，占用内存资源，有线程切换开销
• 适用于：IO密集型计算、同时运行的任务数目要求不多

多协程Coroutine（asyncio）

联系

有了多线程threading，为什么还要用多进程multiprocessing

如果遇到了CPU密集型计算，多线程反而会降低执行速度

docx转pdf是CPU密集型任务还是IO密集型任务？

将文档从 DOCX 格式转换为 PDF 格式通常被认为是 CPU 密集型任务。这种任务的特点主要包括：

1. 处理要求：文档转换过程需要对原始文档的内容进行解析、渲染和重新格式化。这些操作涉及到大量的计算，特别是当文档包含复杂的格式、图像或其他媒体内容时。

2. CPU 使用：转换过程中，CPU 承担了大量工作，包括读取源文件、处理文档结构、应用格式和生成新的 PDF 文件。这些操作通常需要大量的计算资源。

3. 内存使用：此外，转换过程可能需要较大的内存空间，尤其是处理大型或复杂的文档时。

 

多进程multiprocessing知识梳理（对比多线程threading）