jps
jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令
查看当前系统所有运行中的java进程、java包名、jar包名及JVM参数等
不带选项时,简单列出进程的pid及java类名及jar包类型
yarn
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。
Hadoop集群三大核心组件
Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上在一起。
- HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。
- YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager
- MapReduce:它其实是一个应用程序开发包。
集群状态监控
查看hdfs集群状态,namenode的访问地址
配置:hdfs-site.xml
dfs.namenode.http-address
默认访问地址:http://namenodeip:50070
如配置了secondary namenode,那么可以查看secondary namenode的集群状态
配置:hdfs-site.xml
dfs.namenode.secondary.http-address
默认访问地址:http://namenodeip:50090
查看yarn集群的状态
配置:yarn-site.xml
yarn.resourcemanager.webapp.address