Python多进程学习

Python 多进程 (Multiprocessing) 是一种同时利用计算机多个处理器核心 (CPU cores) 进行并行处理的技术，它与 Python 的多线程 (Multithreading) 技术不同，因为多线程的并发任务依赖于一个 GIL (Global Interpreter Lock)。在多进程中，每个进程都有自己的解释器进程，并且可以同时使用多个 CPU 核心，因此在处理计算密集型任务时比多线程更有效。

要使用 Python 的多进程，我们需要使用内置的 multiprocessing 模块，该模块提供了创建和管理进程的类和函数，下面是一个简单的 Python 多进程的例子：

import multiprocessing

def worker():
   """子进程的工作函数"""
   print("Starting worker")
   # 这里可以放一些耗时的任务
   print("Finished worker")

if __name__ == '__main__':
   # 创建一个子进程
   p = multiprocessing.Process(target=worker)
   # 启动子进程
   p.start()
   # 等待子进程结束
   p.join()
   print("Parent process finished")

在这个例子中，我们定义了一个函数 worker()，这个函数是子进程要执行的任务，我们使用 multiprocessing.Process 类创建了一个子进程，并将 worker() 函数作为参数传递给 target 参数，然后我们使用 start() 方法启动子进程，join() 方法等待子进程完成，最后，主进程会输出一条消息，表示自己已经完成了。

除了创建单个子进程，我们还可以使用 Pool 类来创建多个子进程，以便并行处理多个任务，下面是一个使用 Pool 类的例子：

import multiprocessing

def worker(num):
   """子进程的工作函数"""
   print(f"Starting worker {num}")
   # 这里可以放一些耗时的任务
   print(f"Finished worker {num}")

if __name__ == '__main__':
   # 创建一个包含 4 个进程的进程池
   with multiprocessing.Pool(processes=4) as pool:
       # 使用 map 函数并行执行 worker 函数
       pool.map(worker, [1, 2, 3, 4])
   print("Parent process finished")

在这个例子中，我们使用 Pool 类创建了一个包含 4 个进程的进程池，然后我们使用 map() 方法并行执行 worker() 函数。map() 方法会将参数列表中的每个参数依次传递给 worker() 函数，并将返回值收集到一个列表中。最后，主进程会输出一条消息，表示自己已经完成了。

当我们需要执行一些计算密集型的任务时，使用 Python 的多进程技术可以显著提高程序的执行效率，下面是一些使用 Python 的多进程技术的常见场景：

1. 数据处理：当我们需要处理大量的数据时，可以使用多进程技术将数据分成多个部分，并同时处理它们。
2. 网络爬虫：当我们需要爬取大量的网页时，可以使用多进程技术将不同的任务分配给不同的进程，从而并行地执行它们。
3. 图像处理：当我们需要对大量的图像进行处理时，可以使用多进程技术并行执行不同的处理任务。

在使用 Python 的多进程技术时，我们需要注意一些问题：

1. 进程间通信：由于每个进程都有自己的内存空间，因此它们之间不能直接共享数据，我们需要使用 multiprocessing 模块提供的管道、队列等机制来实现进程间通信。
2. 进程池：在使用 Pool 类时，我们需要注意控制并发任务的数量，以免占用过多的系统资源。
3. 内存限制：由于每个进程都有自己的内存空间，因此如果同时创建太多的进程，会占用过多的系统内存，导致程序崩溃。

下面是一个使用进程池并行执行任务的例子，其中使用了 imap_unordered() 方法来异步执行任务：

import multiprocessing
import time

def square(x):
   """计算平方"""
   time.sleep(1)  # 模拟耗时的计算
   return x * x

if __name__ == '__main__':
   # 创建进程池
   with multiprocessing.Pool() as pool:
       # 异步执行任务
       for result in pool.imap_unordered(square, range(10)):
           print(result)

在这个例子中，我们创建了一个包含默认进程数的进程池，然后使用 imap_unordered() 方法并行执行 square() 函数。imap_unordered() 方法会返回一个迭代器，每次迭代都会返回一个已经完成的任务的结果。由于我们使用了异步执行，因此任务的返回顺序不一定与参数的顺序相同。

除了使用 imap_unordered() 方法，我们还可以使用 imap() 方法，它会按照参数的顺序返回任务的结果，此外，我们还可以使用 apply() 和 apply_async() 方法来执行单个任务或异步执行单个任务。

总的来说，使用 Python 的多进程技术可以帮助我们更有效地处理计算密集型任务，通过使用 multiprocessing 模块和 Pool 类，我们可以轻松地创建和管理多个子进程，并使它们并行地执行任务。

- END -

关于Python学习指南

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！

👉Python所有方向的学习路线👈

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取）

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python70个实战练手案例&源码👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉Python大厂面试资料👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉Python副业兼职路线&方法👈

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

👉 这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取【保证100%免费】