Python中的多线程 pool.map的学习

代码地址https://github.com/Pointcept/Pointcept/blob/main/pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py

数据处理中使用ProcessPoolExecutor进行多线程处理

1、import

from concurrent.futures import ProcessPoolExecutor

2、创建ProcessPoolExecutor对象，8线程

pool = ProcessPoolExecutor(max_workers=8) 

3、多线程调用函数

参数都是list，被逐个输入函数处理

_ = list(
        pool.map(
            parse_room,
            room_list,
            angle_list,
            repeat(args.dataset_root),
            repeat(args.output_root),
            repeat(args.align_angle),
            repeat(args.parse_normal),
        )
    )