Python中的多进程并行简明教程

一般来说，多进程意味着并行运行两个或者多个任务。在Python中我们可以使用python内置的multiprocessing模块来实现这一功能。

我们来举个栗子：

假设我们需要运送十个快递从A点到B点，一个快递员一次只能运送一个快递花费时间为十秒钟，如果我们程序是顺序运行的，也就是说完成这项任务我们需要让一个快递员运送十次，那么此时完成这项任务的时间为一百秒；但是如果我们采用多进程处理，假设我们开十个线程，也就意味着此时我们可以同时拥有十个快递员来并行工作，这时我们完成这项任务的耗时仅需要十秒钟即可。

推荐文章

• 有人把吴恩达老师的机器学习和深度学习做成了中文版

• 上瘾了，最近又给公司撸了一个可视化大屏(附源码)

• 如此优雅，4款 Python 自动数据分析神器真香啊

• 梳理半月有余，精心准备了17张知识思维导图，这次要讲清统计学

• 年终汇总：20份可视化大屏模板，直接套用真香(文末附源码)

多进程VS多线程

一般来说，多进程和多线程都可以实现并行，二者的区别如下：

上图直观的显示了多进程和多线程处理的区别。在第一节的例子中我们使用多线程会比较好，但是如果我们的函数需要更多的处理能力和更多的内存，那么使用多进程是理想的，因为对于使用多进程的程序来说，每个子进程都会有一个专属的 CPU 和内存。

因此，如果我们长时间运行的函数需要更多的处理能力和内存，那么我们更应该使用多进程而不是多线程。

顺序执行实现

讲了这么多文字，很多童鞋可能还是云里雾里。那么我们来举个栗子，从代码层面进行理解吧。。。

假设我们的搬运逻辑用代码实现如下：

def long_running_function(box_index):
    time.sleep(10)
    print("move box {} from A to B ...".format(box_index))
    return

如果我们使用顺序执行的方式，也就是让一个快递员搬运十次，那么此时的代码逻辑如下：

def test1():
    time1 = time.time()
    for index in range(0, 10):
        long_running_function(index)
    time2 = time.time()
    print("time consume {} s".format(time2-time1))

上述模拟代码的输出如下：

move box 0 from A to B ...
move box 1 from A to B ...
move box 2 from A to B ...
move box 3 from A to B ...
move box 4 from A to B ...
move box 5 from A to B ...
move box 6 from A to B ...
move box 7 from A to B ...
move box 8 from A to B ...
move box 9 from A to B ...
time consume 100.050865650177 s

多进程并行执行

为了实现多进程，我们需要引入multiprocessing包，同时利用Process创建子进程，利用start来启动子进程，利用join函数实现阻塞住主进程等待子进程结束。

上述搬运箱子多进程方式代码实现如下：

import time
import multiprocessing
def test2():
    time1 = time.time()
    _processes = []
    for index in range(0, 10):
        _process = multiprocessing.Process(target=long_running_function, args=(index,))
        _process.start()
        _processes.append(_process)
    for _process in _processes:
        _process.join()
    time2 = time.time()
    print("time consume {} s".format(time2 - time1))

上述模拟代码的输出如下：

move box 0 from A to B ...
move box 8 from A to B ...
move box 7 from A to B ...
move box 3 from A to B ...
move box 2 from A to B ...
move box 9 from A to B ...
move box 5 from A to B ...
move box 1 from A to B ...
move box 6 from A to B ...
move box 4 from A to B ...
time consume 10.547523975372314 s

总结

本文简单介绍了Python中使用multiprocessing来实现多进程并行，并和程序顺序执行做了相应的对比，并给出了相应的代码实现。

技术交流

欢迎转载、收藏、有所收获点赞支持一下！

目前开通了面试技术交流群，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友

• 方式①、发送如下图片至微信，长按识别，后台回复：加群；
• 方式②、添加微信号：dkl88191，备注：来自CSDN
• 方式③、微信搜索公众号：Python学习与数据挖掘，后台回复：加群