Python 多进程 (Multiprocessing) 是一种同时利用计算机多个处理器核心 (CPU cores) 进行并行处理的技术,它与 Python 的多线程 (Multithreading) 技术不同,因为多线程的并发任务依赖于一个 GIL (Global Interpreter Lock)。在多进程中,每个进程都有自己的解释器进程,并且可以同时使用多个 CPU 核心,因此在处理计算密集型任务时比多线程更有效。
要使用 Python 的多进程,我们需要使用内置的 multiprocessing 模块,该模块提供了创建和管理进程的类和函数,下面是一个简单的 Python 多进程的例子:
import multiprocessing
def worker():
"""子进程的工作函数"""
print("Starting worker")
# 这里可以放一些耗时的任务
print("Finished worker")
if __name__ == '__main__':
# 创建一个子进程
p = multiprocessing.Process(target=worker)
# 启动子进程
p.start()
# 等待子进程结束
p.join()
print("Parent process finished")
在这个例子中,我们定义了一个函数 worker(),这个函数是子进程要执行的任务,我们使用 multiprocessing.Process 类创建了一个子进程,并将 worker() 函数作为参数传递给 target 参数,然后我们使用 start() 方法启动子进程,join() 方法等待子进程完成,最后,主进程会输出一条消息,表示自己已经完成了。
除了创建单个子进程,我们还可以使用 Pool 类来创建多个子进程,以便并行处理多个任务,下面是一个使用 Pool 类的例子:
import multiprocessing
def worker(num):
"""子进程的工作函数"""
print(f"Starting worker {num}")
# 这里可以放一些耗时的任务
print(f"Finished worker {num}")
if __name__ == '__main__':
# 创建一个包含 4 个进程的进程池
with multiprocessing.Pool(processes=4) as pool:
# 使用 map 函数并行执行 worker 函数
pool.map(worker, [1, 2, 3, 4])
print("Parent process finished")
在这个例子中,我们使用 Pool 类创建了一个包含 4 个进程的进程池,然后我们使用 map() 方法并行执行 worker() 函数。map() 方法会将参数列表中的每个参数依次传递给 worker() 函数,并将返回值收集到一个列表中。最后,主进程会输出一条消息,表示自己已经完成了。
当我们需要执行一些计算密集型的任务时,使用 Python 的多进程技术可以显著提高程序的执行效率,下面是一些使用 Python 的多进程技术的常见场景:
-
数据处理:当我们需要处理大量的数据时,可以使用多进程技术将数据分成多个部分,并同时处理它们。
-
网络爬虫:当我们需要爬取大量的网页时,可以使用多进程技术将不同的任务分配给不同的进程,从而并行地执行它们。
-
图像处理:当我们需要对大量的图像进行处理时,可以使用多进程技术并行执行不同的处理任务。
在使用 Python 的多进程技术时,我们需要注意一些问题:
-
进程间通信:由于每个进程都有自己的内存空间,因此它们之间不能直接共享数据,我们需要使用 multiprocessing 模块提供的管道、队列等机制来实现进程间通信。
-
进程池:在使用 Pool 类时,我们需要注意控制并发任务的数量,以免占用过多的系统资源。
-
内存限制:由于每个进程都有自己的内存空间,因此如果同时创建太多的进程,会占用过多的系统内存,导致程序崩溃。
下面是一个使用进程池并行执行任务的例子,其中使用了 imap_unordered() 方法来异步执行任务:
import multiprocessing
import time
def square(x):
"""计算平方"""
time.sleep(1) # 模拟耗时的计算
return x * x
if __name__ == '__main__':
# 创建进程池
with multiprocessing.Pool() as pool:
# 异步执行任务
for result in pool.imap_unordered(square, range(10)):
print(result)
在这个例子中,我们创建了一个包含默认进程数的进程池,然后使用 imap_unordered() 方法并行执行 square() 函数。imap_unordered() 方法会返回一个迭代器,每次迭代都会返回一个已经完成的任务的结果。由于我们使用了异步执行,因此任务的返回顺序不一定与参数的顺序相同。
除了使用 imap_unordered() 方法,我们还可以使用 imap() 方法,它会按照参数的顺序返回任务的结果,此外,我们还可以使用 apply() 和 apply_async() 方法来执行单个任务或异步执行单个任务。
总的来说,使用 Python 的多进程技术可以帮助我们更有效地处理计算密集型任务,通过使用 multiprocessing 模块和 Pool 类,我们可以轻松地创建和管理多个子进程,并使它们并行地执行任务。
好了,今天的分享就到这里了!最后多说一句,小编也是一名python开发工程师,这里有我自己整理的一套最新的python系统学习教程,如果你需要的话,微信扫描下方CSDN官方认证二维码即可领取
零基础Python学习资源介绍
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python学习软件
工欲善其事,必先利其器。学习Python常用的开发软件都在这里了!
三、Python入门学习视频
还有很多适合0基础入门的学习视频,有了这些视频,轻轻松松上手Python~
四、Python练习题
每节视频课后,都有对应的练习题哦,可以检验学习成果哈哈!
五、Python实战案例
光学理论是没用的,要学会跟着一起敲代码,动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。这份资料也包含在内的哈~
六、Python面试资料
我们学会了Python之后,有了技能就可以出去找工作啦!下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
七、资料领取
上述完整版Python全套学习资料已经上传CSDN官方,需要的小伙伴可自行微信扫描下方CSDN官方认证二维码免费领取