python并行计算之pool.apply_async()与pool.imap()的异同点

1. 框架和技术概要: 🎨🖥️

multiprocessing 模块中的 pool.apply_async() 与 pool.imap() 都用于并行处理，但它们在使用方式和返回结果上有所不同。

2. 相似点: 🧩💡

1. 并行处理: 两者都用于在多个进程中并行执行函数。
2. 适用于多核处理: 都可以充分利用多核 CPU 来加速计算。

3. 不同点: 📊👣

特性	pool.apply_async()	pool.imap()
返回类型	返回一个 AsyncResult 对象，可以通过 get() 方法获取结果	返回一个迭代器，可以逐个获取结果
执行方式	提交任务并立即返回，适合独立任务	适合处理可迭代对象中的每个元素，按顺序返回结果
阻塞行为	不会阻塞主线程，可以同时提交多个任务	迭代器会按顺序阻塞，直到结果可用
错误处理	可通过 AsyncResult 对象捕获异常	迭代器会在遍历时抛出异常

4. 使用示例: 😊👨‍💻

1. pool.apply_async():

from multiprocessing import Pool

def square(x):
    return x * x

with Pool(processes=4) as pool:
    results = [pool.apply_async(square, (i,)) for i in range(10)]
    output = [result.get() for result in results]

print(output)

或

pool = multiprocessing.Pool(processes=5)
results, processes = [], []
for file_path in ans_file_paths:
    processes.append(pool.apply_async(cal_max_speed, args=(file_path,)))
for processe in tqdm(processes):
    results.append(processe.get())
pool.close()
pool.join()

2. pool.imap():

from multiprocessing import Pool

def square(x):
    return x * x

with Pool(processes=4) as pool:
    output = pool.imap(square, range(10))

print(list(output))

或者

with multiprocessing.Pool(processes=processes) as pool:
    results = list(tqdm(pool.imap(cal_max_speed, file_generator(root_dir, ids_set)),
                        total=len(ids_set)))  

5. 总结: 🎉

• 如果需要立即提交多个独立任务，并在之后获取结果，可以使用 apply_async()。
• 如果处理的是一个可迭代对象，并希望按顺序获取结果，imap() 是更好的选择。