多进程系列：同一个模型，不同的数据并行处理

多进程系列：同一个模型，不同的数据并行处理

这里展示调用同一个函数或模型，对不同的数据进行多进程并行处理。

代码示例

import multiprocessing 
import time 
 
def classify_model_1(data):
    # 模拟分类操作 
    time.sleep(1)
    print("classify_model_1")
    return f"模型1分类结果: {data}"
def segment_model_1(data):
    # 模拟分割操作 
    time.sleep(1)
    print("segment_model_1")
    return f"模型1分割结果: {data}"
if __name__ == '__main__':
    tic = time.time()
    # 准备数据，这里只是示例，你可能需要为每个模型准备不同的数据 
    data = ["数据1", "数据2", "数据3", "数据4", "数据5"]
     # 创建进程池 
    with multiprocessing.Pool(processes=5) as pool:
        # 分类任务与分割任务串行处理，内部并行处理
        # 使用 map 来分配分类任务 
        classified_results = pool.starmap(classify_model_1,  [(d,) for d in data])
        # 使用 map 来分配分割任务 
        segmented_results = pool.starmap(segment_model_1,  [(d,) for d in data])
        
     # 输出结果 
    for result in classified_results:
        print(result)
    for result in segmented_results:
        print(result)
    toc = time.time()
    print(f"总耗时: {toc - tic}秒")

结果示例

# classify_model_1
# classify_model_1
# classify_model_1
# classify_model_1
# classify_model_1
# segment_model_1
# segment_model_1
# segment_model_1
# segment_model_1
# segment_model_1
# 模型1分类结果: 数据1
# 模型1分类结果: 数据2
# 模型1分类结果: 数据3
# 模型1分类结果: 数据4
# 模型1分类结果: 数据5
# 模型1分割结果: 数据1
# 模型1分割结果: 数据2
# 模型1分割结果: 数据3
# 模型1分割结果: 数据4
# 模型1分割结果: 数据5
# 总耗时: 3.8713178634643555秒