python 进程池Pool的apply_async方法以及一些需要注意的地方

最新推荐文章于 2023-09-05 16:55:44 发布

weixin_30509393

最新推荐文章于 2023-09-05 16:55:44 发布

阅读量2.3k

点赞数

文章标签： python

原文链接：http://www.cnblogs.com/renxchen/p/9909708.html

版权

在写多进程的时候我发现一个问题，用Pool的apply_async（异步非阻塞）的时候传入实例函数会出错，或者说是子进程被跳过似的感觉（python2.7）。

但是用python3.7的话没有任何问题。

code：

# -*- coding:utf-8 -*-

import multiprocessing
import os
import time


class A(object):
    def __init__(self):
        pass

    @staticmethod
    def func(msg):
        print(msg)
        time.sleep(3)
        print('Child Process id : %s, Parent Process id : %s' % (os.getpid(), os.getppid()))

if __name__ == '__main__':
    a = A()
    p = multiprocessing.Pool(multiprocessing.cpu_count())
    for i in range(5):
        p.apply_async(a.func, args=(i,))
    p.close()
    p.join()
    print('Parent process done!')

output（python2.7）：

Parent process done!

output（python3.7）：

0
1
2
3
Child Process id : 17284, Parent Process id : 22536
4
Child Process id : 4252, Parent Process id : 22536
Child Process id : 4944, Parent Process id : 22536
Child Process id : 11168, Parent Process id : 22536
Child Process id : 17284, Parent Process id : 22536
Parent process done!

python3.7起实例函数的多线程时需要注意一个地方，主进程中的变量不会受到子进程的改变而改变。

简而言之就是进程之间不能共享变量。

code：

# -*- coding:utf-8 -*-

from multiprocessing import Pool
import os
import time


class AA(object):
    def __init__(self):
        print('init')
        self.ab = 3

    def task(self, n):
        self.ab += n
        print("进程(%s), 收到%s, +n=%s" % (os.getpid(), n, self.ab))


if __name__ == '__main__':
    aa = AA()
    p = Pool(4)

    for i in range(5):
        t = p.apply_async(func=aa.task, args=(i,))

    p.close()
    p.join()
    print("done ！  主进程！aa.ab=%s" % aa.ab)
    print("主进程ID  %s " % os.getpid())