python partial_Python多处理 – 为什么使用functools.partial比...

考虑以下功能:

def f(x, dummy=list(range(10000000))):

return x

如果我使用multiprocessing.Pool.imap,我会得到以下时间:

import time

import os

from multiprocessing import Pool

def f(x, dummy=list(range(10000000))):

return x

start = time.time()

pool = Pool(2)

for x in pool.imap(f, range(10)):

print("parent process, x=%s, elapsed=%s" % (x, int(time.time() - start)))

parent process, x=0, elapsed=0

parent process, x=1, elapsed=0

parent process, x=2, elapsed=0

parent process, x=3, elapsed=0

parent process, x=4, elapsed=0

parent process, x=5, elapsed=0

parent process, x=6, elapsed=0

parent process, x=7, elapsed=0

parent process, x=8, elapsed=0

parent process, x=9, elapsed=0

现在,如果我使用functools.partial而不是使用默认值:

import time

import os

from multiprocessing import Pool

from functools import partial

def f(x, dummy):

return x

start = time.time()

g = partial(f, dummy=list(range(10000000)))

pool = Pool(2)

for x in pool.imap(g, range(10)):

print("parent process, x=%s, elapsed=%s" % (x, int(time.time() - start)))

parent process, x=0, elapsed=1

parent process, x=1, elapsed=2

parent process, x=2, elapsed=5

parent process, x=3, elapsed=7

parent process, x=4, elapsed=8

parent process, x=5, elapsed=9

parent process, x=6, elapsed=10

parent process, x=7, elapsed=10

parent process, x=8, elapsed=11

parent process, x=9, elapsed=11

为什么使用functools.partial的版本要慢得多?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
`pool.map()` 函数可以用于并行处理一个可迭代对象中的多个元素,但它只能接受一个参数的函数作为输入。如果要传递多个参数给被并行执行的函数,可以使用 `functools.partial()` 函数创建一个新函数,该函数固定部分参数,使其成为一个单参数的函数。然后将这个新函数作为参数传递给 `pool.map()` 函数。 例如,假设要并行处理一个列表中的多个元素,每个元素需要传递两个参数。可以定义一个函数 `my_func`,它接受两个参数并返回结果,然后使用 `functools.partial()` 创建一个新函数 `partial_func`,该函数固定其中一个参数,并将另一个参数作为输入。最后将 `partial_func` 作为参数传递给 `pool.map()` 函数。 示例代码: ```python import multiprocessing from functools import partial def my_func(a, b): # do something with a and b return result if __name__ == '__main__': pool = multiprocessing.Pool() my_list = [(1, 2), (3, 4), (5, 6)] partial_func = partial(my_func, b=10) results = pool.map(lambda x: partial_func(*x), my_list) pool.close() pool.join() ``` 在上面的示例中,`my_func` 是一个接受两个参数的函数,我们使用 `functools.partial()` 固定了其中一个参数 `b`,并创建了一个新函数 `partial_func`,它只接受一个参数 `a`,并将 `b` 作为默认值传递给 `my_func`。然后我们将 `partial_func` 作为参数传递给 `pool.map()` 函数,并使用 `lambda` 表达式将输入列表中的每个元素拆分为两个参数,分别传递给 `partial_func`。最终,`results` 列表将包含每个元素调用 `my_func` 函数的结果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值