Python编程:managers模块分布式进程

版权声明:本文为博主原创文章,欢迎转载,请注明出处 https://blog.csdn.net/mouday/article/details/80655660

managers模块可以把多进程分布到多台机器上

依靠网络通信,一个服务进程可以作为调度者,将任务分布到其他多个进程中

这里写图片描述

代码示例

# -*- coding: utf-8 -*-

# @File    : task_master.py
# @Date    : 2018-06-11
# @Author  : Peng Shiyu

# 思路:通过managers模块把Queue通过网络暴露出去,就可以让其他机器的进程访问Queue了

import time
from queue import Queue
from multiprocessing.managers import BaseManager


# 发送任务的队列
task_queue = Queue()

# 接收结果的队列
result_queue = Queue()

# 从BaseManager继承的QueueManager
class QueueManager(BaseManager):
    pass

# 把两个Queue都注册到网络上, callable参数关联了Queue对象
QueueManager.register("get_task_queue", callable=lambda: task_queue)
QueueManager.register("get_result_queue", callable=lambda: result_queue)

# 绑定端口5002, 设置验证码'abc'
manager = QueueManager(address=("localhost", 5002), authkey=b"abc")

manager.start()
print("启动服务...")

# 获得通过网络访问的Queue对象,
# 必须通过manager获得的Queue接口添加
task = manager.get_task_queue()
result = manager.get_result_queue()

print("放入队列")
for i in range(10):
    time.sleep(1)
    task.put(i)

print("取出结果")
for i in range(10):
    print(result.get(timeout=10))

# 关闭
manager.shutdown()

"""
启动服务...
放入队列
取出结果
0
1
4
9
16
25
36
49
64
81
"""
# -*- coding: utf-8 -*-

# @File    : task_worker.py
# @Date    : 2018-06-11
# @Author  : Peng Shiyu

import time
from multiprocessing.managers import BaseManager


# 创建类似的QueueManager
class QueueManager(BaseManager):
    pass

# 由于这个QueueManager只从网络上获取Queue,所以注册时只提供名字
QueueManager.register("get_task_queue")
QueueManager.register("get_result_queue")

# 连接到服务器,也就是运行task_master.py的机器
# 端口和验证码注意保持与task_master.py设置的完全一致
manager = QueueManager(address=("localhost", 5002), authkey=b"abc")

# 从网络连接
manager.connect()

# 获取Queue的对象
task = manager.get_task_queue()
result = manager.get_result_queue()

# 从task队列取任务,并把结果写入result队列
for i in range(10):
    n = task.get(timeout=1)
    print("获取任务:%s"% n)
    time.sleep(2)
    result.put(n*n)

if hasattr(manager, "shutdown"):
    manager.shutdown()

"""
task_worker-1
获取任务:0
获取任务:2
获取任务:4
获取任务:6
获取任务:8

task_worker-2
获取任务:1
获取任务:3
获取任务:5
获取任务:7
获取任务:9
"""

参考: 廖雪峰Python-分布式进程

阅读更多

扫码向博主提问

彭世瑜

非学,无以致疑;非问,无以广识
  • 擅长领域:
  • python
  • python爬虫
  • python全栈
去开通我的Chat快问

没有更多推荐了,返回首页