python协程和多线程

Python 是一种功能强大且灵活的编程语言，它提供了多种方式来处理并发和并行执行。

编写高效的 Python 应用程序时，理解并掌握这些范式的差别至关重要。

本文将介绍 Python 中的三种主要并发与并行执行范式：Asyncio（协程）、Threading（线程）和 Multiprocessing（多进程）。

Asyncio：用于异步 I/O

Asyncio 是一个专为使用协程编写单线程并发代码的 Python 库。

它在涉及高级结构化网络代码或同时处理多个 I/O 密集任务的情况下表现出色。

其中包含两个重要概念：

异步/等待：在 Python 3.5 版本引入，该语法提供了一种更清晰、更易读的编写异步代码的方式。

事件循环：事件循环是 Asyncio 的核心，管理和分配不同任务的执行，实现高效的多任务处理。

代码示例

import asyncio
import aiohttp

async def fetch_url(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main():
    urls = ["http://example.com","http://example2.com"]
    tasks = [fetch_url(url) for url in urls]
    results = await asyncio.gather(*tasks)
    return results

asyncio.run(main())

这段代码是使用 Asyncio 和 aiohttp 库来异步获取 URL 内容的示例。让我为你解释一下它的工作原理：

首先，代码导入了必要的模块 asyncio 和 aiohttp。

接下来，定义了一个名为 fetch_url 的异步函数。这个函数接受一个 URL 作为参数，并使用 aiohttp 库发送 HTTP 请求以获取 URL 的内容。

然后，我们使用 await 关键字来等待从response 中获取文本内容的操作。

接下来，定义了一个名为 main 的异步函数。在这个函数中，我们定义了一个URL列表，然后，我们使用列表推导式创建了一个包含 fetch_url 函数调用的任务列表。每个任务都是一个异步操作，用于获取一个 URL 的内容。

最后，我们使用asyncio.gather()函数来并发执行这些任务，并等待它们全部完成。gather()函数接受一系列任务作为参数，并返回一个包含所有任务结果的列表。在这里，我们使用 await 关键字等待并发执行的任务结果。

Threading：克服 GIL 的并发

Threading 允许在单个进程中执行多个线程。

由于全局解释器锁（GIL），Python 线程不会真正并行执行字节码，但对于 I/O 密集任务很有用。

全局解释器锁（GIL）：一种互斥锁，用于保护对 Python 对象的访问，防止多个线程同时执行 Python 字节码。

I/O 密集任务的效率：对于等待I/O操作的任务，线程可以在这些操作期间释放GIL，让其他线程运行。

代码示例

import threading
import requests

def download_file(url):
    response = requests.get(url)
    print(f"Downloaded {url}")

urls = ["http://example.com/file1", "http://example.com/file2"]
threads = [threading.Thread(target=download_file, args=(url,)) for url in urls]

for thread in threads:
    thread.start()
for thread in threads:
    thread.join()

这个示例使用线程来进行网络操作，每个线程管理一个不同的下载任务。

Multiprocessing：Python 中的真正并行

Multiprocessing 涉及并行运行多个进程，每个进程都有自己的 Python 解释器，适用于需要并行计算的 CPU 密集任务。它实现了真正的并行，即，每个进程在自己的Python解释器中运行，实现真正的并行计算。

适合CPU密集任务并可以在多个CPU或核心上进行分布。

代码示例

from multiprocessing import Pool

def process_data(data_chunk):
    # 处理数据

    return result

if __name__ == "__main__":
    data_chunks = [data1, data2, data3]
    with Pool() as p:
        results = p.map(process_data, data_chunks)

这段代码展示了如何利用 multiprocessing 模块中的 Pool 类来实现并行执行数据处理任务。它可以提高处理大量数据时的效率，并发地处理多个数据块，从而加快整体处理速度。这对于 CPU 密集任务非常有效。

结尾

如何选择并发模型，取决于你要解决的具体的问题。

Asyncio非常适合处理I/O密集任务，特别是涉及结构化网络代码的情况；

Threading 可以提高 I/O 密集型应用程序的性能，其中任务涉及阻塞的 I/O 操作。

Multiprocessing 是处理需要并行计算的 CPU 密集型任务的首选。

了解这些范式的优势和限制对于在 Python 开发中有效利用它们至关重要。