Python 进程：掌控并发世界的钥匙

小鹿( ﹡ˆoˆ﹡ )

于 2024-10-01 09:52:42 发布

阅读量181

点赞数 2

本文链接：https://blog.csdn.net/qq_44771627/article/details/142668080

版权

Python 专栏收录该内容

76 篇文章 1 订阅

订阅专栏

引言

进程，作为一种操作系统的基本调度单元，它不仅能够独立执行程序，还支持并发操作，这对于提升程序效率、改善用户体验至关重要。特别是在Python这样的解释型语言中，由于全局解释器锁（GIL）的存在，使得多线程在CPU密集型任务上的表现不如预期。此时，利用多进程便成为了一种有效的解决策略。

基础语法介绍

在Python中创建一个新进程非常直观。multiprocessing模块提供了所有必要的工具来轻松管理和控制进程。让我们从最基本的操作开始学习：

创建与启动进程

from multiprocessing import Process

def worker(name):
    print(f'Hello, I am {name}!')

if __name__ == '__main__':
    # 创建一个子进程
    p = Process(target=worker, args=('Worker 1',))
    # 启动进程
    p.start()
    # 等待子进程结束
    p.join()

上述代码展示了如何定义一个简单的函数worker并在一个新进程中执行它。通过Process类创建进程对象时，需要指定目标函数以及传递给该函数的参数。最后，使用start()方法启动进程，并通过join()等待其完成。

基础实例

接下来，我们通过一个更具体的例子来看看如何利用多个进程来加速数据处理流程：

假设我们需要对大量图片进行压缩处理。如果逐一进行，则耗时过长；而若能同时处理多张图片，效率将大大提高。

from multiprocessing import Pool
import os, time, random

def long_time_task(name):
    print('Run task %s (%s)...' % (name, os.getpid()))
    start = time.time()
    time.sleep(random.random() * 3)
    end = time.time()
    print('Task %s runs %0.2f seconds.' % (name, (end - start)))

if __name__ == '__main__':
    print('Parent process %s.' % os.getpid())
    p = Pool(4)  # 创建含有四个工作进程的进程池
    for i in range(5):
        p.apply_async(long_time_task, args=(i,))
    print('Waiting for all subprocesses done...')
    p.close()  # 关闭进程池，表示不能再往里面添加新的任务了
    p.join()   # 等待所有子进程结束
    print('All subprocesses done.')

这里我们使用了Pool类来创建一个包含四个工作进程的进程池。每个任务都将异步地分配给池中的空闲进程执行。当所有任务完成后，主程序继续往下执行。

进阶实例

在实际开发中，我们可能需要更复杂的进程间通信机制。例如，在分布式爬虫系统中，我们需要一个中心节点来分发任务给各个工作节点，并收集结果。这通常可以通过共享内存、队列等方式实现：

from multiprocessing import Manager, Process

def f(d, l):
    d[1] = '1'
    d['2'] = 2
    d[0.25] = None  # 注意字典键可以是任意类型
    l.reverse()

if __name__ == '__main__':
    manager = Manager()
    d = manager.dict()
    l = manager.list(range(10))

    p = Process(target=f, args=(d, l))
    p.start()
    p.join()

    print(d)
    print(l)