python分布式进程管理

对分布式进程管理的理解
把多进程分布到多台机器上，一个服务进程可以作为调度者，依靠网络通信将任务将分配到多个进程中，如果有一个通过Queue通信的多进程程序，将发送任务的进程和处理任务的进程分布到两台不同的主机上，原有的queue可以继续使用，单是通过managers模块将Queue通过网络暴露出去，就可以让其他机器的进程访问Queue了。
服务进程：负责启动Queue，把Queue注册到网络上，然后往Queue里面写任务。
管理端

import random
from queue import Queue
from multiprocessing.managers import BaseManager

# 1. 创建任务队列和任务执行结果的队列
task_queue = Queue()
result_queue = Queue()


# 2. 将队列通过网络暴露出去，让其他主机可以访问到队列;
class QueueManager(BaseManager):
    pass


# 3. 将两个队列都注册到网络上,
QueueManager.register('get_task_queue', callable=lambda: task_queue)
QueueManager.register('get_result_queue', callable=lambda: result_queue)


#4. 绑定一个端口5001, 设置一个与其他主机共同直到的暗号/验证码;
#       0～65535
manager = QueueManager(address=('', 9999), authkey=b'westos')

# 5. 启动网络访队列的对象
manager.start()

# 6. 获取通过网络访问的对象
task = manager.get_task_queue()
result = manager.get_result_queue()



# 7. 放几个任务进去;
for i in range(100):
    n = random.randint(1, 1000)
    print('任务列表加入任务: %s' %(n))
    task.put(n)


# 8. 从result队列读取任务结果;
for j in range(100):
    r = result.get()
    print("队列任务的结果: %s" %(r))


# 8. 关闭
manager.shutdown()

被管理端
在分布式环境下添加任务到Queue不可以直接对原始的task_queue进行操作，那样就绕过了QueueManager的封装，必须通过manager.get_task_queue()获取的Queue接口添加

from multiprocessing.managers import BaseManager
import queue

#1.创建Queue
import time


class QueueManager(BaseManager):
    pass


#2.获取管理端共享出来的队列，一定要跟管理端注册的名称相同

QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')

#3.连接到服务器上
server_addr='172.25.254.77'
print("正在连接服务端%s......" %(server_addr))

#4.端口号和密码要跟管理端保持一致；
m=QueueManager(address=(server_addr,9999),authkey=b'westos')

#5.进行连接
m.connect()


#6.获取Queue对象
task=m.get_task_queue()
result=m.get_result_queue()

#7.获取管理端共享的任务
for i in range(100):
    try:
        n=task.get()
        #模拟处理任务
        print('run task %d*%d...' %(n,n))
        time.sleep(1)
        r='%d * %d = %d' %(n,n,n**2)
        #将执行的任务结果放入结果队列中
        result.put(r)
    except queue.Empty:
        print('任务队列为空..')
print('执行结束')