python 进程池(multiprocessing.Pool)和线程池(threadpool.ThreadPool)的区别与实例

一般我们是通过动态创建子进程(或子线程)来实现并发服务器的,但是会存在这样一些缺点:

  1、动态创建进程(或线程)比较耗费时间,这将导致较慢的服务器响应。 
  2、动态创建的子进程通常只用来为一个客户服务,这样导致了系统上产生大量的细微进程(或线程)。进程和线程间的切换将消耗大量CPU时间。 
  3、动态创建的子进程是当前进程的完整映像,当前进程必须谨慎的管理其分配的文件描述符和堆内存等系统资源,否则子进程可能复制这些资源,从而使系统的可用资源急剧下降,进而影响服务器的性能。 所以呢,就引入了进程池与线程池的概念。 

首先我们先来一个简单的例子来看下两者实现有什么区别:

#并发十条线程求1加到1亿的和

import threadpool

#调用sum函数求和
def sum(start,end):
    sum=0
    for i in range(start,end+1):
        sum+=i
    return sum

#定义结果统一回调
totalsum=0
def onresult(req,sum):
    global totalsum
    totalsum+=sum

#并发10条线程并求和
def threadpoolSum():
    # 创建需求列表
    reqlist = []
    for i in range(10):
        reqlist.append(([i * 10 ** 7 + 1, 10 ** 7 * (i + 1)], None))
  #创建需求
    reqs = threadpool.makeRequests(sum, reqlist, callback=onresult)
    # 创建线程为10的线程池
    mypool = threadpool.ThreadPool(10)
  #把需求添加到线程池
    for item in reqs:
        mypool.putRequest(item)

    # 阻塞等待
    mypool.wait()
    # 打印结果
    print(totalsum)

#程序主入口
if __name__ == '__main__':
    threadpoolSum()
接下来我们来看下进程池:
import multiprocessing
#调用sum函数求和
def sum(start,end):
    sum=0
    for i in range(start,end+1):
        sum+=i
    return sum
#结果统一回调并处理
totalsum=0
def onresult(sum):
     global totalsum
     totalsum+=sum
def MultiprocessPoolSum():
   #创建10条进程池
   mypool = multiprocessing.Pool(10)
  #并发10条进程
   for i in range(10):
      mypool.apply_async(sum, (i * 10 ** 7 + 1, 10 ** 7 * (i + 1)), callback=onresult)
  #关闭进程池
   mypool.close()
  #阻塞等待
   mypool.join()
   print(totalsum)

#程序主入口
if __name__ == '__main__':
    MultiprocessPoolSum()
尽管进程和线程两者大体相似,但还是有所区别:
首先体现在并发上:
  线程池并发数据需要先创建需求,再添加得到线程池当中,而进程池它默认就有两种并发模式,第一种是apply,这是进程的同步,而第二种apply_async则是异步,不需要先创建需求。

其次体现在回调上:
   线程池默认回调上,其除了自身返回的结果外,它还会单独的返回一个系统的(告诉我们那条线程完成了什么任务);而进程池回调就是我们所返回的值,系统不会单独回调一个值。
  • 5
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pythonmultiprocessing.Pool模块和multiprocessing.dummy.Pool模块都是用于创建进程线程池的工具。 进程(multiprocessing.Pool)是一组维护在进程中的工作者,它们可以并行地执行任务。该模块是基于multiprocessing模块实现的,它通过创建多个进程来并行执行任务。 下面是一个创建进程的示例: ``` python import multiprocessing def worker(process_num): print("Process %d is working" % process_num) if __name__ == '__main__': pool = multiprocessing.Pool(processes=4) for i in range(5): pool.apply_async(worker, args=(i,)) pool.close() pool.join() ``` 上面的示例中,我们创建了一个包含4个进程进程,并向进程中提交了5个任务,每个任务调用worker函数并传递一个进程编号作为参数。我们使用apply_async方法向进程中提交任务,并使用close和join方法管理进程线程池(multiprocessing.dummy.Pool)是一组维护在线程中的工作者,它们可以并行地执行任务。该模块是基于threading模块实现的,它通过创建多个线程来并行执行任务。 下面是一个创建线程池的示例: ``` python from multiprocessing.dummy import Pool import time def worker(thread_num): print("Thread %d is working" % thread_num) time.sleep(1) if __name__ == '__main__': pool = Pool(4) for i in range(5): pool.apply_async(worker, args=(i,)) pool.close() pool.join() ``` 上面的示例中,我们创建了一个包含4个线程的线程池,并向线程池中提交了5个任务,每个任务调用worker函数并传递一个线程编号作为参数。我们使用apply_async方法向线程池中提交任务,并使用close和join方法管理线程池。 需要注意的是,线程池进程的用法基本相同,但是由于线程在Python中不能真正地并行执行,因此线程池的性能可能比进程差。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值