python日常笔记3--关于分布式任务的分配

最新推荐文章于 2024-08-19 22:28:27 发布

Yang_Fei_Long

最新推荐文章于 2024-08-19 22:28:27 发布

阅读量2.6k

点赞数

分类专栏： python学习笔记文章标签： python

本文链接：https://blog.csdn.net/Yang_Fei_Long/article/details/78395372

版权

这篇笔记探讨了Python中的分布式任务分配，主要采用master-worker架构。文章指出多进程优于多线程作为稳定性选择，并详细介绍了如何创建master.py，包括使用QueueManager初始化manager，设置IP地址和authkey确保安全。接着，worker.py的角色和如何从master接收任务也被提及。

摘要由CSDN通过智能技术生成

分布式任务分配，目前流行的就是master-worker型，也就是有个master进程（或线程）来分配任务，其余的worker进程（或线程）来处理任务。我们一般都是采取多进程分布式处理任务，因为多进程比多线程要更加的稳定（起码在python中是这样）。

首先写master.py

import queue, random, time
from multiprocessing.managers import  BaseManager

class QueueManager(BaseManager):
    pass




task_queue = queue.Queue()
result_queu = queue.Queue()
res_info = False

QueueManager.register('task_queue', callable=lambda :task_queue)
QueueManager.register('result_queue', callable=lambda :result_queu)
QueueManager.register('res_info', callable=lambda :res_info)

manager = QueueManager(address=('127.23.122.11', 5000), authkey=b'abc')
manager.start()

task = manager.task_queue()
result = manager.result_queue()
info = manager.res_info()
for i in range(10):
    n =random.randint(0,1000)
    pri