python BaseManager分布式学习

最新推荐文章于 2021-01-28 17:30:09 发布

Imagine_Dragon

最新推荐文章于 2021-01-28 17:30:09 发布

阅读量8.4k

点赞数 2

分类专栏： python 文章标签： python 分布式

本文链接：https://blog.csdn.net/Imagine_Dragon/article/details/77689194

版权

本文介绍了如何利用Python的multiprocessing模块中的managers子模块实现分布式进程。通过BaseManager，可以将Queue等数据结构通过网络暴露，使得不同机器上的进程能够共享数据，从而实现分布式进程间的任务调度和通信。文中详细描述了从创建manager服务器到编写worker进程的步骤，并展示了运行截图，证实了worker1和worker2的数据与manager服务器数据的正确同步，无重复。

摘要由CSDN通过智能技术生成

如果我们已经有一个通过Queue通信的多进程程序在同一台机器上运行，现在，由于处理任务的进程任务繁重，希望把发送任务的进程和处理任务的进程分布到两台机器上。怎么用分布式进程实现？原有的Queue可以继续使用，但是，通过managers模块把Queue通过网络暴露出去，就可以让其他机器的进程访问Queue了。

Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个进程中，依靠网络通信。由于managers模块封装很好，不必了解网络通信的细节，就可以很容易地编写分布式多进程程序。

首先编写个manager服务器

# encoding:utf-8

import random, time, Queue
from multiprocessing.managers import BaseManager

# 发送任务的队列
task_queue = Queue.Queue()
# 接收结果的队列
result_queue = Queue.Queue()


# 使用标准函数来代替lambda函数，避免python2.7中，pickle无法序列化lambda的问题
def get_task_queue():
    global