python 多进程共享普通对象的实例

python中的线程,因为GIL锁的问题,实际上同时执行的永远都是一个线程,不能充分发挥多核cpu的能力。多进程可以使用多个cpu,但是不能像多线程之间那么方便的共享变量和对象。比如说,在主线程创建了一个对象App,在子线程中检测App的数据发生了变化,从而执行某一动作。在多线程环境中,由于App是共享的,所以可以很方便的写出下面的代码。

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import os
import time
from threading import Thread
from multiprocessing import Process


class App:
    def __init__(self):
        self.set_data(0, 0)

    def get_data(self):
        return self.x, self.y

    def set_data(self, x, y):
        self.x = x
        self.y = y


def RunApp(app):
    while True:
        data = app.get_data()
        if data[0] > 10:
            print("big data: ", data)
            print("exit child thread")
            break
        else:
            print("small data: ", data)
        time.sleep(1)


if __name__ == "__main__":
    app = App()
    thrd = Thread(target=RunApp, args=(app,)) # using thread, app is shared
    # thrd = Process(target=RunApp, args=(app,)) # using process, app is copied
    thrd.start()
    time.sleep(5)  # child thead will print small data several times
    app.set_data(20, 20)  # child thread print big data and exit
    thrd.join()

上面的代码输出如下:

small data:  (0, 0)
small data:  (0, 0)
small data:  (0, 0)
small data:  (0, 0)
small data:  (0, 0)
big data:  (20, 20)
exit child thread

主线程和子线程的app是同一个对象,所以在主线程修改了app的data,在线程可以检测到。 

如果使用多进程的方式,讲上段代码中的Thead改为Process,那么由于对象不共享,子进程实际是复制了一个app,在主进程中的改变不会影响到子进程,因为程序就不会结束,一直输出“small data”。

在进程之间共享对象,参考python多进程文档,大概有三种方法,但是要共享自定义的Class,则只能勇士Manager这种方法。Manager是一个单独的服务端进程,对共享对象进行管理,其他进程通过socket的方式连接到Manager进程,获取对象,从而可以使用对象的公共方法。对上面的代码的略作修改,多进程的实现方式如下:

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import os
import time
from multiprocessing import Process
from multiprocessing.managers import BaseManager


class App:
    def __init__(self):
        self.set_data(0, 0)

    def get_data(self):
        return self.x, self.y

    def set_data(self, x, y):
        self.x = x
        self.y = y


app = App()


class RobotManager(BaseManager):
    pass


RobotManager.register("get_app", lambda: app)
m = RobotManager(address="fuckworld.com", authkey=b"Fuck, world")
m.start()


def RunApp():
    m = RobotManager(address="fuckworld.com", authkey=b"Fuck, world")
    m.connect()
    app = m.get_app()
    while True:
        data = app.get_data()
        if data[0] > 10:
            print("big data: ", data)
            print("exit child process")
            break
        else:
            print("small data: ", data)
        time.sleep(1)


if __name__ == "__main__":
    p = Process(target=RunApp)
    p.start()
    app = m.get_app()  # 必须使用这一句,不然的话,修改不是共享的
    time.sleep(5)  # child process will print small data several times
    app.set_data(20, 20)  # child process print big data and exit
    p.join()

这种方式,服务端和客户端甚至可以运行在不同的机器上,大家可以试一试。当然address可能不能是”fuckworld.com"了。

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页