日常工作中可能会对同一个文件进行批量操作,但为了节省时间可能会想到多进程。但又会遇到一个问题:写入的内容比较混乱。下面以例子进行展示吧。
1.先来个常规的吧
from multiprocessing import Process
import time
def fun(x):
call(x)
def call(x):
with open('t.txt','a')as f:
f.write(str(x))
if __name__ == '__main__':
for k in range(5):
p_list=[]
start_time = time.time()
for i in range(8):
pro=Process(target=fun,args=(i,))
p_list.append(pro)
for p in p_list:
p.start()
for p in p_list:
p.join()
end_time=time.time()
print("used time : {}".format(end_time-start_time))
写入文档的内容比较混乱。
2.Pool
from multiprocessing import Pool
import time
def fun(x):
return x
def call(x):
with open('Pool.txt','a')as f:
f.write(str(x))
if __name__ == '__main__':
for i in range(5):
start_time=time.time()
p_list=[]
pool=Pool(8)
for i in range(8):
pool.apply_async(func=fun,args=(i,),callback=call)
pool.close()
pool.join()
end_time=time.time()
print("used time : {}".format(end_time-start_time))
这个内容就比较顺眼一点。
欢迎大家批评指正