YARN的内存管理 与 CDH集群管理之角色组

0x00前言

现在一般都使用CM来管理集群，这是一个很好的管理集群工具，使集群便于维护，其中有一点他们推荐一些默认的配置，省去了我们手动选择的烦恼。但是还是由不少小毛病，最近就遇到了分配给YARN管理的集群资源太少的问题。

主机配置如下（每台15G的内存）：

YARN集群实际管理的内存（只有3G）：

0x01 YARN管理的内存为什么这么小？大小由什么决定？

1：YARN 的RM 所管理的集群内存小是因为分配给YARN RM少，主要由以下参数去指定。

#该节点上YARN可使用的物理内存总量
yarn.nodemanager.resource.memory-mb

2: 现在YARN 集群RM的资源暂用情况

0x02 YARN 暂用内存的调整（使用CDH的角色组来管理）

yarn.nodemanager.resource.memory-mb 这个参数实在yarn-site.xml里的，如果去每个节点yarn-site.xml上更改就太麻烦了，既然我们用到了CDH集群，那么可以通过它修改，CDH在这之上做了抽象，靠角色组去管理节点的内存资源

1. 创捷角色组：通过以下创建各类的角色组
   

2. 为角色组分配资源
   描述：角色组没有单独的编辑页面（这个点值得吐槽），需要到具体这个角色组所管理的对象这里设置。在本例中由于我们设置的是每个NodeManager所占用的内存，就到对应的配置文件里来更改

3. 为角色组添加组员
   
   

4. 重启与YARN相关的集群就好了