linux 查询所有python相关的子进程_Python进阶记录之基础篇（二十三）

回顾

在Python进阶记录之基础篇(二十二)中，我们介绍了Python中对文本文件和二进制文件的简单操作，需要重点掌握文件的各种打开方式，以及简单的读写操作。今天我们讲一下Python中的多进程。

进程的基本概念

进程就是操作系统中执行的一个程序，操作系统以进程为单位分配存储空间，每个进程都有自己的地址空间、数据栈以及其他用于跟踪进程执行的辅助数据，操作系统管理所有进程的执行，为它们合理的分配资源。

进程可以通过fork或spawn的方式来创建新的进程来执行其他的任务，不过新的进程也有自己独立的内存空间，因此必须通过进程间通信机制来实现数据共享，具体的方式包括管道、信号、套接字、共享内存区等。

我们先来看这样一个例子：假设现在我们需要下载两个文件(具体怎么下载暂时先忽略)。按照我们之前掌握的知识点，就是一个一个地逐一下载。

逐一下载

上述代码中，我们将两个文件按顺序进行下载，为了模拟真实下载场景，我们设置相应的下载时间。可以看到，如果按顺序逐一下载，需要先等待一个文件下载完成后才能开始下一个文件的下载，整个过程下来需要耗费两个下载任务时间的总和，即9秒左右。

但是我们知道，这是两个毫不相关的下载任务，像这样逐一下载显然效率太低了。因此，就出现了并发编程的概念，而多进程就是Python实现并发编程的三种方式之一。

Python中多进程的创建方式

Python为我们提供了两种方式来实现多进程：系统的fork( )函数和multiprocessing

模块。其中multiprocessing模块是我们使用多进程的主要方式。

• 系统的fork( )函数

Unix和Linux操作系统提供了fork( )系统调用来创建进程，调用fork( )函数的是父进程，创建出的是子进程，子进程就是父进程的一个拷贝，但是子进程拥有自己的PID(进程标识)。

fork( )函数非常特殊，它会返回两次，父进程中可以通过fork( )函数的返回值得到子进程的PID，而子进程中的返回值永远都是0。

因此，在Unix和Linux操作系统中，Python的os模块也拥有fork( )函数。

fork( )创建子进程

fork( )函数可以创建子进程，通过子进程实现多进程。可以看到，通过创建子进程，耗时从原来的9秒左右缩短到5秒左右。

• multiprocessing模块

由于Windows系统中没有fork调用，因此我们在Windows系统中使用os.fork( )是无法运行的。

为了实现跨平台的多进程编程，Python为我们提供了multiprocessing模块。该模块中的Process类可以创建子进程，而且该模块还提供了更高级的封装，例如批量启动进程的进程池、用于进程间通信的队列和管道等。

因此，在Python的实际开发过程中，我们更多地是使用multiprocessing模块来实现多进程。

Process类创建进程

上述代码中，我们通过multiprocessing模块的Process类创建了进程对象，target参数表示目标函数，即进程启动后要执行的代码，args参数是目标函数所需要的参数，用一个元组接收。Process的start( )方法用于启动进程，而join( )方法表示等待进程执行结束再继续往下运行。

我们运行上述代码，可以发现两个下载任务一起执行，从而大大缩短了程序的执行时间。并且与fork( )函数相比，这种方式更加清晰。

进程池Pool

当下载文件增多，需要大量子进程时，我们也可以使用multiprocessing模块中的进程池Pool。假设现在有5个文件待下载，我们通过进程池Pool来实现并发下载。

进程池Pool

上述代码中，我们创建了一个Pool对象，然后通过循环调用apply_async( )方法来创建进程。创建结束调用close( )方法，调用此方法后进程池就不能继续添加新的进程了。最后调用join( )方法等待所有子进程执行完毕。

从运行结果我们看到，程序并没有像我们预计地5个文件一起下载，而是先下载其中四个，直到四个中有一个下载完成才开始第5个。这是因为Pool线程池是有默认大小的，在我电脑上默认就是4，因此，最多同时执行4个进程。

如果你想同时执行5个，需要在创建Pool对象时传入一个5即可，p = Pool(5)。

进程间的通信

进程与进程之间有时也需要通信，在介绍进程的基本概念中我们提到，操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块也包装了操作系统底层的机制，提供了对列(Queue)、管道(Pipes)等多种方式来实现数据共享。

下面我们以对列Queue为例，首先创建两个子进程，其中，一个往对列中写数据，一个从对列中读数据。

进程间的通信

上述代码中，我们首先创建对列对象，然后创建两个进程分别用于数据的读和写。通过对列的put/get方法实现了两个进程之间的数据共享。

总结

以上内容介绍了进程的基本概念以及Python中多进程的使用方法，需要重点理解进程的概念。熟练掌握多进程的创建方法和各种基本操作。感谢大家的支持与关注，欢迎一起学习交流~