一.协程与多线程和多进程一起使用有什么不同
协程、多线程和多进程都是实现程序并发执行的方法,不过它们在工作方式和适合的应用场景上存在一些区别。
1.协程(Coroutine)
协程是在单一线程内部实现并发的,由于只涉及单一线程,不存在多线程中常见的数据竞争等线程同步问题。当协程遇到 IO 操作(如文件读写、网络请求)时,它会将控制权让给其他协程,直到 IO 操作完成。因此,协程适合用于 IO 密集型任务。
2.多线程(Multithreading)
多线程通过在单个进程中同时运行多个线程来实现并发。每个线程可以独立执行并拥有自己的调用堆栈,但线程之间可以共享进程的内存空间,从而方便地共享状态。需要注意的是,由于存在数据共享,数据同步(如通过锁)会是多线程编程的一个常见问题。多线程适合用于既有计算密集型任务,又有 IO 密集型任务的场景。
3.多进程(Multiprocessing)
多进程通过并行运行多个进程来实现,并且每个进程有自己独立的内存空间。进程间的通信(IPC)通常通过使用管道、套接字等完成,这比线程间的状态共享更复杂。由于多进程不共享内存,它在需求中有严格的隔离性或是利用多核并行计算时是个好选择。
需要注意在 Python 中,由于全局解释器锁(GIL)的存在,即使是在多核 CPU 环境下,Python 的多线程在执行 CPU 密集型任务时性能得不到明显提升,反而多进程可以更好利用多核 CPU。所以对于 Python 来说,协程是最适合 IO 密集型任务,而对于 CPU 密集型任务可以选择多进程。
二.在 Python 中如何实现多线程和多进程
在 Python 中实现多线程和多进程可以使用 Python 标准库中的 threading
和 multiprocessing
模块。
1.在 Python 中创建和使用多线程的一个基本示例
import threading
def print_numbers():
for i in range(10):
print(i)
def print_letters():
for letter in 'abcdefghijklmnopqrstuvwxyz':
print(letter)
# 创建线程
thread1 = threading.Thread(target=print_numbers)
thread2 = threading.Thread(target=print_letters)
# 启动线程
thread1.start()
thread2.start()
# 等待线程执行完成
thread1.join()
thread2.join()
在上面的代码中,我们定义了两个函数 print_numbers
和 print_letters
,然后以这两个函数作为目标创建了两个线程。start
方法用于启动线程,join
方法用于等待线程执行完成。
2.在 Python 中创建和使用多进程的一个基本示例
import multiprocessing
def print_numbers():
for i in range(10):
print(i)
def print_letters():
for letter in 'abcdefghijklmnopqrstuvwxyz':
print(letter)
# 创建进程
process1 = multiprocessing.Process(target=print_numbers)
process2 = multiprocessing.Process(target=print_letters)
# 启动进程
process1.start()
process2.start()
# 等待进程执行完成
process1.join()
process2.join()
在上面的代码中,我们创建和使用多进程的方式与多线程基本一致,只是将 threading.Thread
换成了 multiprocessing.Process
。
三.Python 中的多线程间通讯方式,多进程间间通讯方式分别有哪些
使用这些方式时需要保证进程间通信和线程同步的安全性,防止出现数据竞争、死锁等问题。
1.Python 中多线程间通讯方式
由于线程共享进程的内存空间,可以直接访问共享变量进行通信。但需要注意的是,必须保证操作的原子性,避免在多线程环境下产生数据竞争。Python 中常用来保证多线程安全的工具包含:
- 锁:包括互斥锁(Lock),可重入锁(RLock),条件变量(Condition),信号量(Semaphore)等;
- 队列:
queue
模块提供了同步队列(Queue)、LIFO 队列(LifoQueue)以及优先级队列(PriorityQueue),这些队列都是线程安全的,可以在不同线程之间交换数据,非常方便。
2.Python 中多进程间通讯方式
因为进程拥有各自的内存空间,不能直接共享变量,通常可以通过以下方式进行通信:
- 管道(Pipe):
multiprocessing
模块中的Pipe()函数
可以返回一个管道的两个端点,可以分别发放给两个进程,让它们通过管道的方式进行通信; - 队列(Queue):
multiprocessing
模块提供的Queue
类是一个具有先进先出特性的队列,也是进程安全的,方便多个进程之间的数据交换; - 共享内存:
multiprocessing
模块中的Value
或Array
,能在多个进程间共享; - 服务器进程:一个由
Manager()
函数返回的管理器对象控制的服务器进程,这个进程包含的 python 对象,可以被其他进程通过代理进行访问。如果有大量的共享数据,这种方式可能会比更底层的共享方式更合适。
四.nest_asyncio 库
解决 Python 的原生 asyncio 库不允许在同一个线程中运行多个事件循环的问题,即 RuntimeError: This event loop is already running
。如下所示:
import nest_asyncio
nest_asyncio.apply()
async def main():
await asyncio.sleep(1)
print('Hello, World!')
asyncio.run(main())
这个例子即使在运行一个事件循环的环境中(如 Jupyter notebook),这段代码也可以正常运行。这是因为 nest_asyncio.apply()
允许在同一线程中运行多个事件循环。
参考文献
[1] asyncio(异步 I/O):https://docs.python.org/zh-cn/3/library/asyncio.html
[2] https://github.com/erdewit/nest_asyncio
[3] https://docs.python.org/3/library/threading.html
[4] https://docs.python.org/3/library/multiprocessing.html
以上就是“Python中的协程、线程和进程”的全部内容,希望对你有所帮助。
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python必备开发工具
三、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
五、Python练习题
检查学习结果。
六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
最后祝大家天天进步!!
上面这份完整版的Python全套学习资料已经上传至CSDN官方,朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。
![](https://i-blog.csdnimg.cn/blog_migrate/1e71196a7c12b8ac6f8a021bf10290ba.jpeg)