详解Python多进程使用【Python实战技巧100例】

最新推荐文章于 2024-05-16 17:19:45 发布

　子午

最新推荐文章于 2024-05-16 17:19:45 发布

阅读量283

点赞数

分类专栏： 100个Python知识点文章标签： python 数学建模开发语言

本文链接：https://blog.csdn.net/meridian002/article/details/131262386

版权

100个Python知识点专栏收录该内容

93 篇文章 12 订阅

订阅专栏

Python除了支持多线程，还支持多进程。相比于多线程，多进程可以充分利用多核CPU的计算能力，实现真正的并行计算。在本文中，我们将介绍Python中的多进程，以及如何使用Python的multiprocessing模块创建和管理进程。

一、什么是进程？

进程是操作系统分配资源的基本单位。每个进程都有自己的内存空间，这意味着进程之间的变量是隔离的，一个进程无法访问另一个进程的变量。

二、Python中的进程

在Python中，我们可以使用multiprocessing模块创建和管理进程。以下是一个创建进程的例子：


from multiprocessing import Process

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

process1 = Process(target=print_numbers)
process2 = Process(target=print_letters)

process1.start()
process2.start()

process1.join()
process2.join()

在这个例子中，我们创建了两个进程：process1和process2。process1的任务是打印数字0到9，process2的任务是打印字母’a’到’j’。
我们使用multiprocessing.Process类创建了两个进程对象，并指定了每个进程的目标函数。然后，我们调用了start方法来启动进程。
join方法用于等待进程结束。这是阻塞调用，也就是说，调用join方法的进程（在这个例子中是主进程）会被阻塞，直到被调用join方法的进程（在这个例子中是process1和process2）结束。

三、进程间通信

由于进程之间的内存是隔离的，所以进程之间不能直接通信。Python的multiprocessing模块提供了多种进程间通信的工具，包括管道（Pipe）、队列（Queue）等。以下是一个使用队列进行进程间通信的例子：


from multiprocessing import Process, Queue

def worker(q):
    q.put('Hello, world!')

def main():
    q = Queue()
    p = Process(target=worker, args=(q,))
    p.start()
    print(q.get())
    p.join()

if __name__ == '__main__':
    main()

在这个例子中，我们创建了一个子进程，该子进程向队列中添加了一个消息。主进程从队列中获取了这个消息，并打印了它。通过队列，我们实现了进程间的通信。

四、进程同步

和线程一样，进程也可能需要同步。Python的multiprocessing模块提供了多种进程同步的工具，包括锁（Lock）、信号量（Semaphore）等。

五、Python中的进程池

在Python中，我们可以使用multiprocessing.Pool类创建一个进程池。进程池中的进程数量是固定的，当有新的任务提交到进程池时，如果进程池中有空闲的进程，那么这个进程就会被分配到这个任务。如果所有的进程都在忙，那么这个任务就会等待，直到有进程变成空闲状态。以下是一个使用进程池的例子：

pythonCopy code
from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == '__main__':
    with Pool(5) as p:
        print(p.map(square, [1, 2, 3, 4, 5]))