python处理1对多数据_【Python】多进程处理多个数据文件

【问题描述】

有多个数据文件，采用相同的处理函数进行处理。如果采用串行的思想对文件进行处理，那就需要分别处理每一个文件，所需要的时间非常长。

所以，需要采用多进程的方法，对多个数据文件采用并行的方式进行处理，处理时间缩短明显。

【实现方法】

主函数：

import multiprocessing

……

pool=multiprocessing.Pool(processes=32)

print('开始多进程处理过程！')

for A1PRE_file in A1PRE_filename_list:

pool.apply_async(func=AIS_demod_main, args=(A1PRE_file,satelliteID,processID,outPath,logger,))

print(A1PRE_file)

pool.close()

pool.join()

主要思想就是采用并行处理函数

pool.apply_async

对多个文件进行处理。

【其他问题】

python3.7.4版本中，采用上述代码可以实现多进程处理。但是python3.6中apply_async函数无法正常执行，程序不报错，运行到该函数后直接跳过。

所以，采用该函数需要注意python的版本。