python多进程加速函数运行

  python多进程运行可以使函数运行在程序主进程以外,减少主进程的调用,并且可以加速子进程的运行速度
  为了测试多进程的加速效果,我们可以通过创建一个包含计算密集型任务的函数,并使用多进程来并行执行这些任务。我们将对比单进程和多进程执行的时间。

以下是改进后的代码,包括时间测量和改进的多进程池处理:
函数要在

import multiprocessing
import os
import time


def add(input):
    a = 0
    for _ in range(1000000):  # 模拟计算密集型任务
        a += input
    return a
if __name__ == '__main__':

    # 配置多进程环境
    os.environ['OMP_NUM_THREADS'] = '1'
    mp_context = multiprocessing.get_context('spawn')
    pool = mp_context.Pool(processes=4)  # 使用 4 个进程

    # 输入数据
    args = [(i,) for i in range(4)]  # 输入格式为 [(args,), (args,), ...]

    # 单进程执行
    start_time = time.time()
    single_process_results = [add(arg[0]) for arg in args]
    single_process_time = time.time() - start_time
    print(f"单进程执行时间: {single_process_time:.2f} 秒")
    print(f"单进程结果: {single_process_results}")

    for i in range(3):
        multi_process_results = pool.starmap(add, args)
    # 多进程执行
    start_time = time.time()
    multi_process_results = pool.starmap(add, args)
    multi_process_time = time.time() - start_time
    print(f"多进程执行时间: {multi_process_time:.2f} 秒")
    print(f"多进程结果: {multi_process_results}")

    pool.close()
    pool.join()

    # 比较单进程和多进程的执行时间
    speedup = single_process_time / multi_process_time
    print(f"加速比: {speedup:.2f}")

在这里插入图片描述

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一休哥※

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值