Python并发编程：让你的代码飞起来的魔法

云帆码上学

已于 2024-10-11 11:26:01 修改

阅读量1.1k

点赞数 24

分类专栏： python进阶文章标签：服务器运维 python 开发语言

于 2024-10-11 08:00:00 首次发布

本文链接：https://blog.csdn.net/yfmsx/article/details/142785871

版权

python进阶专栏收录该内容

11 篇文章 0 订阅

订阅专栏

引言：你是否曾因等待而抓狂？

想象一下，你正在开发一个需要处理大量数据的应用程序。每当你运行代码时，程序却像蜗牛一样缓慢，等待的时间让你心急如焚。根据一项调查，程序员平均每周花费20小时在调试和优化代码上。难道我们就只能忍受这种痛苦吗？当然不是！在这篇文章中，我们将深入探讨Python的并发编程，帮助你提升代码的执行效率，让你的程序像火箭一样飞起来。

并发编程的基本概念

在我们开始之前，先来了解一下什么是并发编程。简单来说，并发编程是一种让多个任务同时进行的技术。它可以帮助我们更高效地利用计算机资源，尤其是在处理I/O密集型或计算密集型任务时。Python提供了多种并发编程的方法，包括多线程、多进程和异步编程。接下来，我们将逐一探讨这些方法。

多线程：轻量级的并发

使用示例

多线程是并发编程中最常用的方法之一。它允许我们在同一个进程中同时运行多个线程。以下是一个简单的TCP服务器和客户端示例。

TCP服务器示例

import socket
import threading

def handle_client(client_socket):
    request = client_socket.recv(1024)
    print(f"Received: {request.decode()}")
    client_socket.send(b"ACK")
    client_socket.close()

server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.bind(("0.0.0.0", 9999))
server.listen(5)
print("Listening on port 9999...")

while True:
    client_socket, addr = server.accept()
    print(f"Accepted connection from {addr}")
    client_handler = threading.Thread(target=handle_client, args=(client_socket,))
    client_handler.start()

在这个示例中，我们创建了一个简单的TCP服务器，它能够同时处理多个客户端的连接。

新手容易踩的坑

全局解释器锁（GIL）：Python的GIL限制了同一时刻只有一个线程在执行字节码，这意味着多线程在CPU密集型任务中并不总是有效。
线程安全：在多个线程访问共享数据时，可能会出现数据竞争问题。使用锁（Lock）可以避免这种情况，但要小心死锁。

多进程：真正的并行

使用示例

如果你的任务是计算密集型的，多进程可能是更好的选择。Python的multiprocessing模块允许我们创建多个进程，每个进程都有自己的Python解释器和内存空间。

from multiprocessing import Process

def worker(num):
    print(f'Worker: {num}')

if __name__ == '__main__':
    processes = []
    for i in range(5):
        p = Process(target=worker, args=(i,))
        processes.append(p)
        p.start()

    for p in processes:
        p.join()

在这个示例中，我们创建了5个进程来执行简单的工作。

新手容易踩的坑

进程间通信：进程之间的通信比线程复杂，通常需要使用队列（Queue）或管道（Pipe）。确保你了解如何正确使用这些通信机制。
资源消耗：每个进程都有自己的内存空间，创建过多进程可能导致系统资源耗尽。

异步编程：高效的I/O操作

使用示例

异步编程是近年来越来越流行的一种并发编程方式，特别适合I/O密集型任务。Python的asyncio库使得编写异步代码变得简单而直观。

import asyncio

async def say_hello():
    await asyncio.sleep(1)
    print("Hello!")

async def main():
    await asyncio.gather(say_hello(), say_hello())

asyncio.run(main())

在这个示例中，我们分别定义了一个异步函数，并在主程序中并行执行它们。