hadoop 相关概念

jps

jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令

查看当前系统所有运行中的java进程、java包名、jar包名及JVM参数等

不带选项时，简单列出进程的pid及java类名及jar包类型

yarn

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。这里的应用程序是指传统的MapReduce作业或作业的DAG（有向无环图）。

百度百科-yarn

Hadoop集群三大核心组件

Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上在一起。

1. HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。
2. YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager
3. MapReduce：它其实是一个应用程序开发包。

集群状态监控

查看hdfs集群状态，namenode的访问地址

配置：hdfs-site.xml

dfs.namenode.http-address

默认访问地址：http://namenodeip:50070

如配置了secondary namenode，那么可以查看secondary namenode的集群状态

配置：hdfs-site.xml

dfs.namenode.secondary.http-address

默认访问地址：http://namenodeip:50090

查看yarn集群的状态

配置：yarn-site.xml

yarn.resourcemanager.webapp.address

默认访问地址：http://resourcemanagerip:8088

转载于:https://my.oschina.net/u/3669947/blog/2961943