1. 框架和技术概要: 🎨🖥️
multiprocessing
模块中的 pool.apply_async()
与 pool.imap()
都用于并行处理,但它们在使用方式和返回结果上有所不同。
2. 相似点: 🧩💡
- 并行处理: 两者都用于在多个进程中并行执行函数。
- 适用于多核处理: 都可以充分利用多核 CPU 来加速计算。
3. 不同点: 📊👣
特性 | pool.apply_async() | pool.imap() |
---|---|---|
返回类型 | 返回一个 AsyncResult 对象,可以通过 get() 方法获取结果 | 返回一个迭代器,可以逐个获取结果 |
执行方式 | 提交任务并立即返回,适合独立任务 | 适合处理可迭代对象中的每个元素,按顺序返回结果 |
阻塞行为 | 不会阻塞主线程,可以同时提交多个任务 | 迭代器会按顺序阻塞,直到结果可用 |
错误处理 | 可通过 AsyncResult 对象捕获异常 | 迭代器会在遍历时抛出异常 |
4. 使用示例: 😊👨💻
pool.apply_async()
:
from multiprocessing import Pool
def square(x):
return x * x
with Pool(processes=4) as pool:
results = [pool.apply_async(square, (i,)) for i in range(10)]
output = [result.get() for result in results]
print(output)
或
pool = multiprocessing.Pool(processes=5)
results, processes = [], []
for file_path in ans_file_paths:
processes.append(pool.apply_async(cal_max_speed, args=(file_path,)))
for processe in tqdm(processes):
results.append(processe.get())
pool.close()
pool.join()
pool.imap()
:
from multiprocessing import Pool
def square(x):
return x * x
with Pool(processes=4) as pool:
output = pool.imap(square, range(10))
print(list(output))
或者
with multiprocessing.Pool(processes=processes) as pool:
results = list(tqdm(pool.imap(cal_max_speed, file_generator(root_dir, ids_set)),
total=len(ids_set)))
5. 总结: 🎉
- 如果需要立即提交多个独立任务,并在之后获取结果,可以使用
apply_async()
。 - 如果处理的是一个可迭代对象,并希望按顺序获取结果,
imap()
是更好的选择。