Python17 多进程multiprocessing

1.多进程与多线程的区别

在Python中，多线程（multithreading）和多进程（multiprocessing）是两种并行执行任务的方式，它们有一些关键的区别：

1. 进程和线程的基本区别：

   • 进程：进程是操作系统分配资源和调度的基本单位，每个进程都有自己独立的内存空间和资源。多进程环境下，同一个程序可以运行在不同的内存地址空间中，进程之间不会相互干扰。

   • 线程：线程是进程的一个执行实体，是CPU调度和执行的单位，同一进程下的多个线程共享该进程的内存空间和资源。这意味着线程间通信更简单，但也容易出现数据不一致的问题。

2. 全局解释器锁（GIL）：

   • Python（尤其是CPython）中有一个称为全局解释器锁（GIL）的机制，它影响了多线程的执行效率。GIL确保在任意时刻，只有一个线程在一个Python进程中执行，这意味着即使在多核CPU上，使用Python的多线程也无法实现真正的并行执行。

   • 多进程不受GIL的影响，因为每个进程都有自己的Python解释器和内存空间，所以可以真正并行运行。

3. 使用场景：

   • 多线程适合于I/O密集型任务，如网络请求、文件I/O等，因为线程在等待I/O的过程中可以释放GIL，让其他线程运行。

   • 多进程适合于CPU密集型任务，如大规模计算等，可以利用多核CPU的优势实现真正的并行计算。

4. 资源消耗和开销：

   • 多线程的资源消耗相对较少，创建和切换线程的开销小于进程。

   • 多进程因为每个进程需要独立的内存空间和系统资源，所以资源消耗更大，进程的创建和切换也比线程要慢。

2.多进程模块multiprocessing

Python中的multiprocessing 模块是用来实现多进程并行计算的标准库之一。它提供一种简单且强大的方式来利用多核 CPU 执行并行任务，从而提高程序的性能和效率。

具体来说，multiprocessing 模块主要用于以下几个方面：

1. 创建进程：通过 Process 类，可以创建新的进程来执行指定的任务。

2. 进程间通信：提供了多种方式来实现进程间的通信，如队列（Queue）、管道（Pipe）、共享内存（Value 和 Array 等）等，这些机制可以让多个进程之间安全地共享数据。

3. 进程池：通过 Pool 类，可以创建一个池子，其中包含多个工作进程，从而可以更方便地实现并行任务的执行。

4. 同步机制：提供了多种同步原语，如锁（Lock）、信号量（Semaphore）、事件（Event）等，用于控制多个进程之间的并发访问。

5. 执行并行任务：通过多进程的方式，可以并行执行计算密集型任务，从而提高程序的运行速度，特别是在多核 CPU 上。

3.多进程示例（并行计算不同函数）

# 这行代码是一个特殊注释，用于声明Python文件的编码格式
# -*- coding: utf-8 -*-  
import multiprocessing  # 用于创建多进程
import numpy as np
import matplotlib.pyplot as plt

# 正弦函数
def compute_sin(queue, x):  #函数计算输入数组x的正弦值，结果存入队列queue，队列用于进程间的数据传递。
    y = np.sin(x)
    queue.put(('sin', y))
    print("Sin computed")

# 余弦函数
def compute_cos(queue, x):
    y = np.cos(x)
    queue.put(('cos', y))
    print("Cos computed")

# 正切函数
def compute_tan(queue, x):
    y = np.tan(x)
    y = np.clip(y, -10, 10)  # 限制tan函数的输出范围以避免数值爆炸
    queue.put(('tan', y))
    print("Tan computed")

# 指数函数
def compute_exp(queue, x):
    y = np.exp(x)
    y = np.clip(y, 0, 10)  # 限制exp函数的输出范围以避免数值爆炸
    queue.put(('exp', y))
    print("Exp computed")

if __name__ == '__main__':  # 仅当文件作为主程序运行时执行以下代码块
    # 创建一个管理器队列用于进程间通信
    manager = multiprocessing.Manager()
    queue = manager.Queue()

    # 创建输入数据
    x = np.linspace(-2 * np.pi, 2 * np.pi, 1000)  # 生成一个线性空间的数组x，范围是从-2π到2π，包含1000个元素

    # 创建四个进程，每个进程执行不同的计算任务
    processes = [
        multiprocessing.Process(target=compute_sin, args=(queue, x)),
        multiprocessing.Process(target=compute_cos, args=(queue, x)),
        multiprocessing.Process(target=compute_tan, args=(queue, x)),
        multiprocessing.Process(target=compute_exp, args=(queue, x))
    ]

    # 启动所有进程
    for p in processes:
        p.start()

    # 等待所有进程完成
    for p in processes:
        p.join()

    # 从队列中获取所有结果，存入字典results
    results = {}
    while not queue.empty():
        key, value = queue.get()
        results[key] = value

    # 使用matplotlib进行绘图
    plt.figure(figsize=(10, 6))
    if results:
        for key, value in results.items():
            plt.plot(x, value, label=key)
        plt.title('Various Mathematical Functions')
        plt.xlabel('x')
        plt.ylabel('f(x)')
        plt.ylim(-5, 5)  # 设置y轴的显示范围
        plt.legend()
        plt.show()
    else:
        print("No data to plot.")

---

以上内容总结自网络，如有帮助欢迎转发，我们下次再见！