python starmap_用于多个参数的Python多处理池.map

慕田峪7331174

这一问题的答案取决于版本和情况。对于Python的最新版本(自3.3以来)，最普遍的答案是：塞巴斯蒂安.1它使用Pool.starmap方法，它接受一个参数元组序列。然后自动从每个元组中解压缩参数，并将它们传递给定的函数：import multiprocessingfrom itertools import productdef merge_names(a, b):

    return '{} & {}'.format(a, b)if __name__ == '__main__':

    names = ['Brown', 'Wilson', 'Bartlett', 'Rivera', 'Molloy', 'Opie']

    with multiprocessing.Pool(processes=3) as pool:

        results = pool.starmap(merge_names, product(names, repeat=2))

    print(results)# Output: ['Brown & Brown', 'Brown & Wilson', 'Brown & Bartlett', ...对于早期版本的Python，您需要编写一个帮助函数来显式地解压参数。如果你想用with，您还需要编写一个包装器来转换Pool变成上下文管理器。(多亏了μ子)指出这一点。)import multiprocessingfrom itertools import productfrom contextlib import contextmanagerdef merge_names(a, b):

    return '{} & {}'.format(a, b)def merge_names_unpack(args):

    return merge_names(*args)@contextmanagerdef poolcontext(*args, **kwargs):

    pool = multiprocessing.Pool(*args, **kwargs)

    yield pool

    pool.terminate()if __name__ == '__main__':

    names = ['Brown', 'Wilson', 'Bartlett', 'Rivera', 'Molloy', 'Opie']

    with poolcontext(processes=3) as pool:

        results = pool.map(merge_names_unpack, product(names, repeat=2))

    print(results)# Output: ['Brown & Brown', 'Brown & Wilson', 'Brown & Bartlett', ...在更简单的情况下，使用固定的第二个参数，您还可以使用partial，但仅限于Python2.7+。import multiprocessingfrom functools import partialfrom contextlib import contextmanager@contextmanagerdef poolcontext(*args, **kwargs):

    pool = multiprocessing.Pool(*args, **kwargs)

    yield pool

    pool.terminate()def merge_names(a, b):

    return '{} & {}'.format(a, b)if __name__ == '__main__':

    names = ['Brown', 'Wilson', 'Bartlett', 'Rivera', 'Molloy', 'Opie']

    with poolcontext(processes=3) as pool:

        results = pool.map(partial(merge_names, b='Sons'), names)

    print(results)# Output: ['Brown & Sons', 'Wilson & Sons', 'Bartlett & Sons', ...1.在很大程度上，这是他的回答所启发的，而他的回答可能反而应该被接受。但是，由于这一个被困在顶端，它似乎是最好的改进，为未来的读者。