python之分布式进程

最新推荐文章于 2020-11-30 11:46:28 发布

亦散亦聚

最新推荐文章于 2020-11-30 11:46:28 发布

阅读量350

点赞数

分类专栏： python 分布式进程文章标签：分布式进程

本文链接：https://blog.csdn.net/qq_25360769/article/details/89096076

版权

本文介绍了Python的分布式进程工作模式，主要包括Master和Worker的角色。Master负责定义任务队列、注册任务、绑定网络信息，并启动任务。Worker则从网络获取任务，执行后返回结果。详细步骤涵盖从任务分配到执行的全过程。

摘要由CSDN通过智能技术生成

分布式进程：将许多任务分布到不只一台机器上运行

通常的工作模式为：Master - Worker 模式

首先是Master主任务处理过程

# !/usr/bin/env python3
# -*- coding: utf-8 -*-

'分布式进程的简单应用：Master-worker 模式'

# Task_Master.py
import random, time
import queue
from multiprocessing.managers import BaseManager
from multiprocessing import freeze_support

# 继承父类BaseManager
class QueueManager(BaseManager):
    pass

# 任务数
taskNumber = 10
# 定义发送、接收任务队列
taskQueue = queue.Queue(taskNumber)
resultQueue = queue.Queue(taskNumber)

# windows 环境下只能先定义两个向对应的函数才能执行下去
def getTask():
    return taskQueue
def getResult():
    return resultQueue

def test(): # 任务执行过程
    # 将任务队列注册到网上
    QueueManager.register('get_task', callable=getTask)
    QueueManager.register('get_result', callable=getResult)
    # 绑定地址和IO端口以及验证码
    manager = QueueManager(address=('127.0.0.1', 5000), authkey=b'abc')
    # 启动队列