进程间数据共享(multiprocess.Manager)

最新推荐文章于 2024-07-25 17:58:30 发布

贾维斯Echo

最新推荐文章于 2024-07-25 17:58:30 发布

阅读量688

点赞数 1

分类专栏： Python学习笔记文章标签： python 多线程多进程

本文链接：https://blog.csdn.net/weixin_44621343/article/details/113870109

版权

Python学习笔记专栏收录该内容

162 篇文章 203 订阅

订阅专栏

博客讨论了进程间数据共享的挑战和解决方案，强调了基于消息传递的并发编程的重要性。推荐使用独立线程并通过消息队列交换数据，以减少同步需求并支持分布式系统。Manager模块被介绍为实现进程间数据共享的工具，支持多种数据类型，并提供了一段使用Manager和Lock的示例代码。未来考虑使用数据库解决进程间通信问题。

摘要由CSDN通过智能技术生成

进程间数据共享(multiprocess.Manager)

展望未来，基于消息传递的并发编程是大势所趋

即便是使用线程，推荐做法也是将程序设计为大量独立的线程集合，通过消息队列交换数据。

这样极大地减少了对使用锁定和其他同步手段的需求，还可以扩展到分布式系统中。

但进程间应该尽量避免通信，即便需要通信，也应该选择进程安全的工具来避免加锁带来的问题。

以后我们会尝试使用数据库来解决现在进程之间的数据共享问题。

1.1 Manager模块介绍

进程间数据是独立的，可以借助于队列或管道实现通信，二者都是基于消息传递的。

虽然进程间数据独立，但可以通过Manager实现数据共享，事实上Manager的功能远不止于此。

A manager object returned by Manager() controls a server process which holds Python objects and allows other processes to manipulate them using proxies.

A manager returned by Manager() will support types list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Value and Array.

1.2 Manager例子

from multiprocessing import Manager,Process,Lock
def work(d,lock):
    with lock:  # 不加锁而操作共享的数据,肯定会出现数据错乱
        d['count']-=1

if __name__ == '__main__':
    lock=Lock()
    with Manager() as m:
        dic=m.dict({'count':100})
        p_l=[]
        for i in range(100):
            p=Process(target=work,args=(dic,lock))
            p_l.append(p)
            p.start()
        for p in p_l:
            p.join()
        print(dic)