python多线程并行处理

1.

使用多进程的方式：

cores = 2
pool = multiprocessing.Pool(processes=cores)
pool.map(convert, fn_list) #convert是要调用的函数，fn_list是要传入函数的参数，多线程的参数用列表组织。

pool.close()
pool.join()

2.向函数中传入多个参数的方式：

将多个参数组成元祖，同时要执行的函数再分别获取元祖中的元素

def autoProcessOneImage(threeParams):
    annoPngName,annoShapeName,outPath=threeParams 

for _ in shpAll:
    paramList.append((annoPath,shpPath,outPath))
pool.map(autoProcessOneImage,paramList)

3.获取返回值:返回值是各个进程组成的列表

res = pool.map(job1,data_list)

 

3.同时在多个运行节点启动多个程序，且每个程序用multiprocess运行多个进程时

多进程如何防止数据冲突：

（1）简单的方式，但仍会有少量冲突的情况：random.shuffle+文件是否已经被处理的判断

random.shuffle(paramList)

pool.map(autoProcessOneImage,paramList)

def autoProcessOneImage(threeParams):

    if os.path.isfile(outToShow) and os.path.isfile(outToAnno):

          return 0

（2）根据要启动的运行节点个数，将paramList分为几组，每个程序执行一部分数据。

 

(3)加锁：还在研究中