python多处理模块示例

python多处理模块示例

python的multiprocessing模块不但支持多进程，其中manager子模块还可以把进程分布到多台机器上。一个服务进程可以作为调度者，依靠网络通信将任务分不到其他多个进程中。

1. 服务进程

负责启动Queue，把Queue注册到网络上，然后往Queue中添加任务。

# -*- coding: utf-8 -*-

import random, queue
from multiprocessing.managers import BaseManager

# 发送任务的队列
task_queue = queue.Queue()
# 接受结果的队列
result_queue = queue.Queue()

class QueueManager(BaseManager):
    pass

# 把两个Queue注册到网络上，callable参数关联了Queue对象
QueueManager.register('get_task_queue', callable=lambda: task_queue)
QueueManager.register('get_result_queue', callable=lambda: result_queue)
# 绑定端口5000，设置验证码'abc'
manager = QueueManager(address=('', 5000), authkey=b'abc')
# 启动队列
manager.start()
# 获取通过网络访问的Queue对象
task = manager.get_task_queue()
result = manager.get_result_queue()
# 放入几个任务
for i in range(10):
    n = random.randint(0, 10000)
    print('Put task %d...' % n)
    task.put(n)
    
# 从结果队列中读取结果
for i in range(10):
    r = result.get(timeout=10)
    print('Result: %s' % r)
    
# 关闭
manager.shutdown()
print('master exit.')

2. 任务进程

# -*- coding: utf-8 -*-

import time, queue
from multiprocessing.managers import BaseManager
     
class QueueManager(BaseManager):
    pass    

# 这个QueueManager只能从网络上获取Queue
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')
server_addr = '127.0.0.1'
print('Connect to server %s.' % server_addr)
m = QueueManager(address=(server_addr, 5000), authkey=b'abc')
# 从网络连接
m.connect()
task = m.get_task_queue()
result = m.get_result_queue()
# 从task队列取任务，把结果写入result队列
for i in range(10):
    try:
        n = task.get(timeout=1)
        print('run task %d * %d...' % (n, n))
        r = '%d * %d = %d' % (n, n, n*n)
        time.sleep(1)
        result.put(r)
	except queue.Empty:
        print('Task queue is empty.')
print('worker exit.')