我们可以使用 Python 的 concurrent.futures
模块来实现多线程分批执行。
首先将原来的代码放入一个函数中,如 process_batch(batch)
。
然后使用 concurrent.futures.ThreadPoolExecutor
来创建一个线程池,并使用 map
函数来并行处理每一批数据。
import concurrent.futures
def process_batch(batch):
# 原来的代码
with concurrent.futures.ThreadPoolExecutor() as executor:
batches = [batch1, batch2, batch3, ...]
executor.map(process_batch, batches)
这样就可以在多线程中分批执行了。