多进程文件写入

挑战

向同一个文件写入数据的时候，由于多进程是并发进行，操作系统中会不清楚到底要写入哪个数据到文件中，所以会出现资源竞争混乱，导致文件内容轮乱。

方案

方案一：通过Pool.imap生成一个iter，然后迭代写入

func的参数通过iterable通过一个迭代器输出，当有多个参数时，需要组成一个tuple后进行输入

def multiplication(x):
    num, cnt = x[0],x[1]
    return num*cnt

with Pool(6) as pool:
    with open('result1.txt', 'a+') as f:
        iters = pool.imap(func=multiplication, iterable=zip(list(range(1000)), list(range(1, 1001))))
        for i in iters:
            f.write(str(i) + '\n')

参考：https://zhuanlan.zhihu.com/p/315627656

方案二：通过callback回调函数

def setcallback(x):
    with open('result.txt', 'a+') as f:
        line = str(x[0]) + "\n"
        f.write(line)
        print("continue")
    if x[1] >= 995:
        print("finished")

def multiplication(num, cnt):
    return num*cnt, num

if __name__ == '__main__':
    pool = multiprocessing.Pool(6)
    for i in range(1000):
        pool.apply_async(func=multiplication, args=(i, i+1), callback=setcallback)
    pool.close()  # 和pool.join() 必须添加上。更简便的方案是 with Pool(6) as pool：
    pool.join()