Hadoop MaWo: YARN服务上的Master Worker框架

概述

MaWo 是一个基于 YARN 服务的框架，用于处理基于 Master Worker 的工作负载。这是一个应用程序，它可以输入包含任务的工作规范、任务的预期持续时间，并且包含一个 Master 将任务分发给预定的一组works,组件将负责在特定的时间内完成工作。

MaWo组件

MaWo 应用程序是一个YARN 服务应用程序。它主要有两个组成部分。

1.Master：

·读取MaWo-Payload 文件并创建任务队列

·注册Worker

·将任务分配给工作节点

·监控任务状态

·记录任务状态

2.Worker：

·向 Worker 发送心跳

·执行任务