对于数据量较大的文件,对里面的数据执行某一种相同操作时,可以考虑多进程+islice结合,利用类似“map+reduce”的思路快速输出结果
- 初始化进程池
*args传入do_analysis的参数,传入p_id及cpu数量,为后续切片使用
cpu_n = min(os.cpu_count() - 2, 10)
executor = ProcessPoolExecutor(max_workers=cpu_n)
pdata =
对于数据量较大的文件,对里面的数据执行某一种相同操作时,可以考虑多进程+islice结合,利用类似“map+reduce”的思路快速输出结果
cpu_n = min(os.cpu_count() - 2, 10)
executor = ProcessPoolExecutor(max_workers=cpu_n)
pdata =