multiprocessing

本文介绍了Python的multiprocessing库,通过对比多进程和多线程,展示了如何在实际中使用 Pool 进行并行处理。重点讲解了进程独立性和地址空间、任务拆分原则以及何时选择多进程或多线程以优化性能。
摘要由CSDN通过智能技术生成

multiprocessing------Python库

简介

multiprocessing 是Python 启动多进程的时候使用的一个库。

单进程,多进程,和多线程

这里是对多进程,多线程,单进程比较直接的区分:
1.进程有独立的地址空间,而多个线程共享一个地址空间
2. 一个程序(功能模块)启动一般为一个进程。
3. 当一个功能往往需要批量重复以达到同一个功能成为多种不同的过程的时候,一般需要多进程或者多线程。这里的不同一般指入参不同,代码逻辑相同。
4. 多进程和多线程的根本区别在于是否共享地址空间。
5.当每个逻辑的数据需要独立的时候,最好用多进程
6. 当每个逻辑的数据可以做到共享却不互相干涉的时候,并且对性能有更高的要求,可以考虑多线程。因为进程间通信的成本开销一般比线程高。

Demonstration

这个是启动多进程的代码:


from multiprocessing import Pool

def f(x):
    return x*x

if __name__ == '__main__':
    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值