hadoop是通过队列管理集群资源,翻开集群Web UI,找到Schedule查看
Queue State : queue 的状态
Used Capacity : 0.0% 已使用资源占队列配置值的百分比
Absolute Used Capacity : 0.0% 已使用资源占集群的百分比
Absolute Capacity : queue 至少可以使用系统资源占集群的百分比
Absolute Max Capacity : queue 最多可以使用系统资源占集群的百分比
Used Resources : 已使用的memory和CPU
Num Schedulable Applications : 正在被调度的app应用个数
Num Non-Schedulable Applications : 没有被调度的app应用个数
Num Containers : 已启用的container容器数量
Max Applications : 最大可运行的应用数量
(处于pending和running状态的,比如配置最大运行量
yarn.scheduler.capacity.maximum-applications 为10000,Absolute Capacity为90%,则这个值为9000)
(这个就是个摆设,实际取决于集群大小和相关的配置)
Max Applications Per User : 每个user最多可以运行的应用数量
Max Schedulable Applications : 集群最大可调度应用数量,取决于内存总量,应用最小内存分配,am可用资源占比。
(例如:内存总量360G,yarn.scheduler.minimum-allocation-mb 为1024M,yarn.scheduler.capacity.maximum-am-resource-percent 为0.1,则此值为360*0.1/1=36)
Max Schedulable Applications Per User : 单个用户最大可调度应用数量。
(Max Schedulable Applications * 该队列capacity占比 * 单用户可使用队列资源占比)
Configured Capacity : 配置该队列capacity
Configured Max Capacity : 配置该队列最大可使用capacity
Configured Minimum User Limit Percent : 每个user最多可以使用队列资源的百分比
Configured User Limit Factor : 每个user最多可以使用几个其他queue队列的资源