python一点通： 并行技术有几种？ thread和process有什么区别

在Python中，并行性是一种技术，允许程序同时执行多个任务，从而提高整体性能。Python提供了几种实现并行性的方法，包括线程（threading）、多进程（multiprocessing）以及concurrent.futures模块。在本博文中，我们将探讨线程和进程的概念，它们的区别以及何时选择它们。我们还将介绍concurrent.futures模块作为Python中并行计算的高级接口。我们将提供示例来说明如何使用线程、进程和concurrent.futures进行并行计算。

线程

线程（Thread）是程序中表示单个控制流的最小执行单位。它们是操作系统可以管理和调度的最小执行单元。进程内的线程共享一些资源，如内存和文件句柄，这使得在多个线程之间共享数据更加容易和高效。然而，这也意味着必须小心确保安全地访问共享数据，并进行适当的同步，以避免竞态条件或死锁等问题。

在Python中，可以使用threading模块创建和管理线程。以下是一个示例：

import threading

def print_numbers():
    for i in range(5):
        print(f'Number {i}')

def print_letters():
    for letter in 'abcde':
        print(f'Letter {letter}')

thread1 = threading.Thread(target=print_numbers)
thread2 = threading.Thread(target=print_letters)

thread1.start()
thread2.start()

thread1.join()
thread2.join()

需要注意的是，Python的CPython实现有一个全局解释器锁（Global Interpreter Lock，GIL），它限制了线程的并行执行。这使得在Python中，线程更适合于IO密集型任务，即线程在很大程度上会等待IO操作完成。

进程

进程（Process）与线程不同，它们拥有完全独立的内存空间，并在各自独立的环境中运行。这意味着进程间通信需要更复杂的机制，并且与线程通信相比可能更慢。然而，进程提供更好的隔离性，一个进程中的错误或崩溃不会影响其他进程。

Python的multiprocessing模块用于创建和管理进程。以下是一个示例：

from multiprocessing import Process

def print_numbers():
    for i in range(5):
        print(f'Number {i}')

def print_letters():
    for letter in 'abcde':
        print(f'Letter {letter}')

process1 = Process(target=print_numbers)
process2 = Process(target=print_letters)

process1.start()
process2.start()

process1.join()
process2.join()

由于进程可以实现真正的并行性，因此多进程更适用于Python中的CPU密集型任务，即同时运行任务可以显著提高性能。

concurrent.futures

concurrent.futures模块提供了一个高级接口，用于在Python中异步执行可调用对象。它具有ThreadPoolExecutor和ProcessPoolExecutor类，分别用于使用多个线程或进程并行化代码执行。该模块简化了线程和进程的管理过程，并提供了其他功能，例如处理异常和与可用结果进行交互。

使用concurrent.futures.ThreadPoolExecutor的示例用法：

from concurrent.futures import ThreadPoolExecutor

def square(x):
    return x * x

with ThreadPoolExecutor(max_workers=4) as executor:
    result = list(executor.map(square, range(0, 10)))

print(result)

使用concurrent.futures.ProcessPoolExecutor的示例用法：

from concurrent.futures import ProcessPoolExecutor

def square(x):
    return x * x

with ProcessPoolExecutor(max_workers=4) as executor:
    result = list(executor.map(square, range(0, 10)))

print(result)

线程 vs. 进程：区别概况

• 内存和资源共享
• 创建和管理
• 并发性和并行性
• 错误处理和容错性
  有关这些区别的详细说明，请参阅本博文前面提供的详细解释。

何时使用线程、进程或concurrent.futures

选择线程还是进程取决于正在执行的任务的特定要求和性质：

对于IO密集型任务，其中有多个任务经常需要等待IO操作完成，可以使用线程。线程轻量级，共享内存和资源，并且对于并发的IO密集型任务提供更好的性能。可以使用concurrent.futures.ThreadPoolExecutor来简化线程管理。
对于CPU密集型任务，需要真正的并行性以实现最大的计算效率，可以使用进程。进程重量级，具有隔离性，并且提供更好的容错性。可以使用concurrent.futures.ProcessPoolExecutor来简化进程管理。

结论

在本博文中，我们探讨了Python中的线程和进程的概念，讨论了它们的区别，并介绍了concurrent.futures模块作为并行计算的高级接口。了解何时使用线程、进程或concurrent.futures对于编写高效的Python程序至关重要，并可以显著提高应用程序的性能。

在选择线程和进程之间或在concurrent.futures的ThreadPoolExecutor和ProcessPoolExecutor之间进行选择时，请记住考虑任务类型（CPU密集型还是IO密集型）、可用CPU核心数量、并发性、并行性和同步要求。在考虑这些因素的基础上，可以选择最适合Python程序的并行性方法并优化性能。

阅读

英文版

阅读

公众号

AI书籍清单

AI日新月异，但是万丈高楼拔地起，离不开良好的基础。您是否有兴趣了解人工智能的原理和实践？ 不要再观望！ 我们关于 AI 原则和实践的书是任何想要深入了解 AI 世界的人的完美资源。 由该领域的领先专家撰写，这本综合指南涵盖了从机器学习的基础知识到构建智能系统的高级技术的所有内容。 无论您是初学者还是经验丰富的 AI 从业者，本书都能满足您的需求。 那为什么还要等呢？

人工智能原理与实践 全面涵盖人工智能和数据科学各个重要体系经典

北大出版社，人工智能原理与实践 人工智能和数据科学从入门到精通 详解机器学习深度学习算法原理