Python--并发编程

最新推荐文章于 2024-11-08 13:43:44 发布

Ambition_LAO

最新推荐文章于 2024-11-08 13:43:44 发布

阅读量937

点赞数 5

文章标签： python

本文链接：https://blog.csdn.net/gdhbftggg/article/details/141498940

版权

并发编程是一种允许程序在同一时间处理多个任务的方法。Python 提供了多线程、多进程和异步编程三种主要手段来实现并发编程。每种方法都有其适用场景和优缺点。以下是对这三种方法的详细阐述及扩展。

1. 多线程编程

1.1. 基本概念

多线程是一种通过在同一进程中创建多个线程来并发执行任务的方式。线程是操作系统可以独立调度的最小单元。Python 中的 threading 模块用于创建和管理线程。

1.2. 示例：创建和启动线程

import threading

def print_numbers():
    for i in range(5):
        print(f"Number: {i}")

# 创建线程
thread = threading.Thread(target=print_numbers)

# 启动线程
thread.start()

# 等待线程完成
thread.join()

1.3. 多线程的特点

共享内存空间：线程之间共享进程的内存空间，这使得线程间通信更容易，但也可能导致资源竞争问题，如数据竞争和死锁。
GIL 限制：Python 的全局解释器锁（GIL）限制了同一时间只能有一个线程执行 Python 字节码，因此在 CPU 密集型任务中，多线程的性能提升有限。对于 I/O 密集型任务，多线程仍然非常有用。

1.4. 扩展：线程同步

线程同步是为了防止多个线程同时访问共享资源而导致数据不一致。threading 模块提供了多种同步原语，例如锁（Lock）、条件变量（Condition）等。

import threading

counter = 0
lock = threading.Lock()

def increment_counter():
    global counter
    for _ in range(1000):
        with lock:
            counter += 1

threads = [threading.Thread(target=increment_counter) for _ in range(10)]

for thread in threads:
    thread.start()

for thread in threads:
    thread.join()

print(f"Final counter value: {counter}")

在这个示例中，使用 lock 确保 counter 在多个线程中安全地被修改。

2. 多进程编程

2.1. 基本概念

多进程是通过在操作系统级别创建多个独立的进程来实现并发的方式。每个进程都有自己的内存空间，因此避免了多线程中的 GIL 限制。Python 提供了 multiprocessing 模块来实现多进程编程。

2.2. 示例：创建和启动进程

import multiprocessing

def print_numbers():
    for i in range(5):
        print(f"Number: {i}")

# 创建进程
process = multiprocessing.Process(target=print_numbers)

# 启动进程
process.start()

# 等待进程完成
process.join()

2.3. 多进程的特点

独立内存空间：每个进程拥有独立的内存空间，因此进程间不会直接共享数据。这消除了数据竞争问题，但需要使用进程间通信机制（如队列、管道）来共享数据。
适用于 CPU 密集型任务：由于多进程不受 GIL 的限制，因此在 CPU 密集型任务中，多进程通常比多线程更高效。

2.4. 扩展：进程池

multiprocessing 模块提供了 Pool 类，用于管理进程池，可以更方便地分配任务给多个进程。

import multiprocessing

def square(x):
    return x * x

with multiprocessing.Pool(processes=4) as pool:
    results = pool.map(square, range(10))

print(results)

在这个示例中，Pool 对象管理了一个进程池，并使用 map 方法并行地计算平方值。

3. 异步编程

3.1. 基本概念

异步编程是一种允许程序在执行 I/O 操作时不阻塞其他任务的编程模型。异步编程通常用于 I/O 密集型任务，如文件读取、网络请求等。Python 中的 asyncio 模块是实现异步编程的主要工具。

3.2. 示例：使用 `asyncio` 实现异步任务

import asyncio

async def print_numbers():
    for i in range(5):
        print(f"Number: {i}")
        await asyncio.sleep(1)  # 模拟 I/O 操作

async def main():
    await asyncio.gather(print_numbers(), print_numbers())

# 运行事件循环
asyncio.run(main())

3.3. 异步编程的特点

非阻塞 I/O：异步编程模型允许在等待 I/O 操作时执行其他任务，提高了效率。
事件驱动：异步编程依赖于事件循环来调度任务。asyncio 提供的 await 关键字用于暂停函数的执行，等待异步任务完成。
惰性执行：异步函数仅在调用 await 或加入事件循环时才执行，这与生成器的惰性求值有类似之处。

3.4. 扩展：异步网络请求

异步编程在处理大量网络请求时非常有用，特别是在需要同时处理多个请求的情况下。以下是使用 aiohttp 库进行异步网络请求的示例：

import aiohttp
import asyncio

async def fetch_url(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = ["http://example.com" for _ in range(5)]
    async with aiohttp.ClientSession() as session:
        tasks = [fetch_url(session, url) for url in urls]
        results = await asyncio.gather(*tasks)
        for result in results:
            print(result[:100])  # 打印前100个字符

# 运行事件循环
asyncio.run(main())

在这个示例中，aiohttp 库用于异步发起 HTTP 请求，asyncio.gather 用于并行执行多个异步任务。