python multiprocessing 通信问题 -- Manager

python multiprocessing 通信问题 -- Manager

由于进程之间不共享内存，所以进程之间的通信不能像线程之间直接引用，因而需要采取一些策略来完成进程之间的数据通信。

本文记录使用 Manager 来完成进程间通信的方式。

首先描述需求：

    场景：顶层逻辑负责管理，我们定义为C，由C启动A、B两个进程联合完成功能

    需求：A、B联合工作过程中的数据通信

                              

解决思路：

    利用顶层C创建一个 Manager，由 Manager 提供数据池分发给A、B使用，从而完成两个进程之间的通信。

#-*-encoding:utf-8-*-
from multiprocessing import Process, Manager
from time import sleep
 
 
def thread_a_main(sync_data_pool):  # A 进程主函数，存入100+的数
    for ix in range(100, 105):
        sleep(1)
        sync_data_pool.append(ix)
 
 
def thread_b_main(sync_data_pool):  # B 进程主函数，存入300+的数
    for ix in range(300, 309):
        sleep(0.6)
        sync_data_pool.append(ix)
 
 
def _test_case_000():  # 测试用例
    manager = Manager()  # multiprocessing 中的 Manager 是一个工厂方法，直接获取一个 SyncManager 的实例
    sync_data_pool = manager.list()  # 利用 SyncManager 的实例来创建同步数据池
    Process(target=thread_a_main, args=(sync_data_pool, )).start()  # 创建并启动 A 进程
    Process(target=thread_b_main, args=(sync_data_pool, )).start()  # 创建并启动 B 进程
    for ix in range(6):  # C 进程（主进程）中实时的去查看数据池中的数据
        sleep(1)
        print(sync_data_pool)
 
 
if '__main__' == __name__:  # 养成好习惯，将测试用例单独列出
    _test_case_000()


[]
[300, 100, 301]
[300, 100, 301, 101, 302, 303]
[300, 100, 301, 101, 302, 303, 102, 304]
[300, 100, 301, 101, 302, 303, 102, 304, 305, 103, 306]
[300, 100, 301, 101, 302, 303, 102, 304, 305, 103, 306, 104, 307, 308]

从结果来看， 我们的300+和100+的数据并行的被插入到同一数据池中了，也就是说，通信的目的达到了

只是从目前的方式来看，接收方必须主动的去查询数据池，类似于信箱的方式了

除了注释中的内容外，还需要注意：

    1、manager 要在顶层创建

    2、同步数据池是通过Manager自身的工厂方法创建的，这里 manager.list() 调用一次即产生一个新的数据池，而不是返回同一个数据池实例，所以数据池的实例需要做好管理

    3、可以用的数据格式不仅list，可以选择如下（参考multiprocessing.managers）

class SyncManager(BaseManager):
    '''
    Subclass of `BaseManager` which supports a number of shared object types.
    The types registered are those intended for the synchronization
    of threads, plus `dict`, `list` and `Namespace`.
    The `multiprocessing.Manager()` function creates started instances of
    this class.
    '''
 
SyncManager.register('Queue', Queue.Queue)
SyncManager.register('JoinableQueue', Queue.Queue)
SyncManager.register('Event', threading.Event, EventProxy)
SyncManager.register('Lock', threading.Lock, AcquirerProxy)
SyncManager.register('RLock', threading.RLock, AcquirerProxy)
SyncManager.register('Semaphore', threading.Semaphore, AcquirerProxy)
SyncManager.register('BoundedSemaphore', threading.BoundedSemaphore,
                     AcquirerProxy)
SyncManager.register('Condition', threading.Condition, ConditionProxy)
SyncManager.register('Pool', Pool, PoolProxy)
SyncManager.register('list', list, ListProxy)
SyncManager.register('dict', dict, DictProxy)
SyncManager.register('Value', Value, ValueProxy)
SyncManager.register('Array', Array, ArrayProxy)
SyncManager.register('Namespace', Namespace, NamespaceProxy)
 
# types returned by methods of PoolProxy
SyncManager.register('Iterator', proxytype=IteratorProxy, create_method=False)
SyncManager.register('AsyncResult', create_method=False)

【2018/6/16】在kivy应用中使用了Manager，经过PyInstaller发布的时候，遇到两个问题，记录于此。

1、PyCharm上运行正常，PyInstaller编译后的程序在启动时不断的创建新窗口【已解决】

    问题原因：没有添加 freeze_support

    解决思路：from multiprocessing import freeze_support， 在 main 的第一行添加 freeze_support() 解决该问题

    鸣谢：感谢 Filip Radović 提供的解决思路

    PO一下我当时提的ISSUE作为参考：https://github.com/kivy/kivy/issues/5807

2、PyCharm上运行正常，QPythonL加载后，Manager().start()遇到 EOFError

    原因分析：EOFError指的是 End of flow，就是说读取到结尾了。而对于此场景，Manager().start()会向Pipe写入内容，除非写入失败，写入失败意味着连接失败，对否？？（目前尚未证实/解决，纯属个人猜测，后续更新）