CZW1234R的博客

容器资源超限和盈余调度 （1）YARN集群资源管理 YARN集群上所有的资源，可以通过YARN的Web UI直接查看 通过查看集群监控，可以看到总共的内存大小、虚拟CPU核的个数，我们也可以看到每个NodeManager的资源。很明显，YARN集群中总共能使用的内存就是每个NodeManager的资源和，虚拟CPU核也是一样。 （2）NodeManager总计资源 在yarn-default.xml中有一项配置为：yarn.nodemanager.resource.memory-mb，它的

概述 MaWo 是一个基于 YARN 服务的框架，用于处理基于 Master Worker 的工作负载。这是一个应用程序，它可以输入包含任务的工作规范、任务的预期持续时间，并且包含一个 Master 将任务分发给预定的一组works,组件将负责在特定的时间内完成工作。 MaWo组件 MaWo 应用程序是一个YARN 服务应用程序。它主要有两个组成部分。 1.Master： ·读取MaWo-Payload 文件并创建任务队列 ·注册Worker ·将任务分配给工作节点 ·监控任务状态 ·