正确使用 Multiprocessing 的姿势

	import multiprocessing as mp
	
	
	# 要执行的任务函数
	def task(pid, name):
	    print("pid:", pid, "name:", name)
	    return str(pid) + ":" + name
	
	
	def main():
	    pool = mp.Pool()
	    cpus = mp.cpu_count()
	    res_list = list()
	    # for i in range(0, 6):
	    for i in range(0, cpus):
	        res = pool.apply_async(task, args=(i, "ruiyang"))
	        res_list.append(res)
	
	    pool.close()
	    pool.join()
	    print(res_list)
	
	    # apply_async是异步执行任务,这里我们提交了四个任务,假设我们所使用的 CPU 是四核,那么每核运行一个任务
	    # 如果提交的多于四个任务,那么每个核就需要同时运行2个以上的任务,带来任务切换的成本,降低了效率。
	    # 所以我们设置的并行任务数量最好等于CPU的核心数
	
	    # 使用res.get()来获取task的返回值
	    new_list = list()
	    for res in res_list:
	        new_list.append(res.get())
	
	    print(new_list)
	
	# 为什么不在for循环中直接 res.get()?
	# 因为pool.apply_async之后的语句都是阻塞执行的,调用res.get()会等待上一个任务执行完之后才会分配下一个任务
	# 实际上,获取返回值的过程最好放在进程池回收之后进行,避免阻塞之后的语句
	
	
	if __name__ == "__main__":
	    main()
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值