import multiprocessing as mp
# 要执行的任务函数
def task(pid, name):
print("pid:", pid, "name:", name)
return str(pid) + ":" + name
def main():
pool = mp.Pool()
cpus = mp.cpu_count()
res_list = list()
# for i in range(0, 6):
for i in range(0, cpus):
res = pool.apply_async(task, args=(i, "ruiyang"))
res_list.append(res)
pool.close()
pool.join()
print(res_list)
# apply_async是异步执行任务,这里我们提交了四个任务,假设我们所使用的 CPU 是四核,那么每核运行一个任务
# 如果提交的多于四个任务,那么每个核就需要同时运行2个以上的任务,带来任务切换的成本,降低了效率。
# 所以我们设置的并行任务数量最好等于CPU的核心数
# 使用res.get()来获取task的返回值
new_list = list()
for res in res_list:
new_list.append(res.get())
print(new_list)
# 为什么不在for循环中直接 res.get()?
# 因为pool.apply_async之后的语句都是阻塞执行的,调用res.get()会等待上一个任务执行完之后才会分配下一个任务
# 实际上,获取返回值的过程最好放在进程池回收之后进行,避免阻塞之后的语句
if __name__ == "__main__":
main()
正确使用 Multiprocessing 的姿势
最新推荐文章于 2023-01-29 19:54:53 发布