在数据分析的工作中,我们最常用的就是yarn的页面了,但是有很多小伙伴,刚接触大数据不久,导致打开yarn界面,看的一脸懵,还全市英文啥都看不懂,所以现在我就给大家说说yarn界面到底怎么看,首先在打开yarn的界面之后会展示如下界面
因为一些原因,不方便给大家看集群参数,大家见谅,下面涉及到的配置我也会抹掉,当然大家自己打开yarn之后可能因为访问路径等原因,不是我这个界面,这个也无所谓,大家点击左上角Cluster下的about就可以了
现在我开始告诉大家yarn的界面到底怎么用,首先最左面的那些导航栏是最重要的,所有的信息都从这里导航
About
:是集群的大致信息的展示,这个页面点开之后除非特殊情况,一般是没有什么我们需要关注的。
Nodes
:是集群中所有的datanode节点,点击之后你会看到如下界面,在这个界面你可以查看每个datanode节点的相关信息,Cluster Metrics是总体的datanode节点数据,其中包括了集群的总资源数等,User Metrics for yarn一般都是0我们在工作中很少会参考,Scheduler Metrics调度队列的资源控制信息
Node Labels
:是一些节点的标识信息,我们也不用看,因为不用。
Application
:这个是重中之重,其内部的导航栏从上到下依次为,新的任务–>正在准备的新任务–>提交中的任务–>提交成功正在等待执行的任务–>执行中的任务–>执行完成的任务–>失败的任务–>意外中断的任务,在相应的界面中我们可以看到任务的占用资源等一个任务的详情信息
Scheduler
:打开之后其实就是在原先的界面上多出个一个调度队列的情况而已
Tools
:是一些yarn的杂项,我们一般用不到,里面一般是yarn的配置展示,任务的错误记录等信息而已
最后要说的是,有很多时候随着不同版本的更迭或者是不同发行版的Hadoop,在我们日常常用的Nodes和Application界面,有可能你看到的信息比上面这个截图多,下面是一些博主碰到的一些信息项,分享给大家。
首行:
AppsSubmitted :按序列运行了几个app
AppsPending :等待状态的应用数
AppsRunning:没有应用运行时显示0
AppsCompleted:按序列运行完成了几个app
ContainersRunning : 没有应用运行,所以运行状态的容器为0
MemoryUsed :没有应用运行,所以集群内存使用为0
Memory total :yarn集群总内存
Memory Reserved:yarn集群保留的内存
VCoresUserd :目前使用的cpu虚拟核数
VCores Total.: yarn集群CPU综核数
VCoresReserved:yarn集群保留的CPU虚拟核数
CLoster Nodes Metrics:yarn集群活动NM数量
Decommissioning Nodes :退役中的NM节点数量
Decommissioned Nodes:已退役的NM节点数量
Lost Nodes:丢失NM节点数量
Unhealthy Nodes:非健康状态的NM节点数量
Rebooted Nodes:重启的NM节点数量
Shutdown Nodes:停机的NM节点数量
调度队列:
Scheduler Type:调度器类型:容量调度
Scheduling Resource Type:调度资源类型:默认使用的
Minimum Allocation: 最小分配资源数量
Maximum Allocation:最大分配资源数
Maximum Cluster Application Priority: 最大应用优先级
Scheduler : 调度器
Scheduling ResourceType:调度资源类型:默认使用的
Minimum Allocation: 最小分配资源数
Maximum Allocation: 最大分配资源数
Maximum Cluster Application Priority: 最大应用优先级
Application界面:
id: 应用程序id
user: 提交应用的用户
name: 应用程序名称
Application Type :应用类型: MR,Spark,Flink,Tez,Hive等等
Queue:应用运行的队列
ApplicationPriority:应用优先级:数值越大,优先级越高
StartTime:开始时间
LaunchTime:启动速度时间
FinishTime:运行结束时间
state:运行状态
all,new,new saving,SUBMITTED,ACCEPTED<RUNNING<FINISHED<FAILED<KIILLED
FinalStatus:完成状态,最终状态jobstatc :符合killed|succeeded|failed任意一种
running killed ,failed,succeeded,paused
RunningContainers:运行时容器的数量
Allocated CPU VCores :运行时使用容器的数量
AllocatedGPUs :分配CPU的核数
AllocatedGPUs :分配的内存
Reserved CPU VCores:保留cpu的核数
Reserved Memory MB:保留的内存
%of Queue : 使用队列容量的百分比
%of Cluster:该队列容量在集群汇总的百分比
Progress:执行进度
Tracking UI. : hs。history