Hadoop 1.X && Hadoop 2.X 区别
Hadoop 1.X
由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成。
Hadoop 2.X
为克服Hadoop 1.X中HDFS和MapReduce存在的各种问题而提出的。针对Hadoop 1.X中的单NameNode制约HDFS的扩展性问题,提出了HDFS Federation,它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展,同时它彻底解决了NameNode 单点故障问题;针对Hadoop 1.X中的MapReduce在扩展性和多框架支持等方面的不足,它将JobTracker中的资源管理和作业控制功能分开,分别由组件ResourceManager和ApplicationMaster实现,其中,ResourceManager负责所有应用程序的资源分配,而ApplicationMaster仅负责管理一个应用程序,进而诞生了全新的通用资源管理框架YARN。基于YARN,用户可以运行各种类型的应用程序,从离线计算的MapReduce到在线计算(流式处理)的Storm等。
YARN架构
YARN是一个资源管理、任务调度的框架。
主要包含三大模块:
ResourceManager:主要负责所有资源的监控、分配和管理。
ApplicationMaster:负责每一个具体应用程序的调度和协调。
NodeManager:负责每一个节点的维护。
对于所有的applications,ResourceManager拥有绝对的控制权和对资源的分配权。而每个ApplicationMaster则会和ResourceManager协商资源,同时和NodeManager通信来执行和监控task。
YARN运行流程图
1、client向YARN中提交应用程序,其中包括启动该应用的ApplicationMaster的必须信息,例如ApplicationMaster程序、启动ApplicationMaster的命令等。
2、ResourceManager为该应用程序分配第一个Container(这里可以理解为一种资源比如内存),并与对应的Node-Manager通信,要求它在这个Container中启动应用程序的ApplicationMaster。
3、ApplicationMaster首先向ResourceManager注册,这样用户可以直接通过ResourceManage查看应用程序的运行状态,然后它将为各个任务申请资源,并监控它的运行状态,直到运行结束,即重复步骤4~7
4、ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请相应数目的container。
5、ResourceManager返回ApplicationMaster的申请的containers信息。申请成功的container,由ApplicationMaster进行初始化。container的启动信息初始化后,ApplicationMaster与对应的NodeManager通信,要求NodeManager启动container。ApplicationMaster与NodeManager保持心跳,从而对NodeManager上运行的任务进行监控和管理。
6、container运行期间,ApplicationMaster对container进行监控。container通过RPC协议向对应的ApplicationMaster汇报自己的进度和状态等信息。
7、各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。在应用程序运行过程中,用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。
8、应用运行结束后,ApplicationMaster向ResourceManager注销自己,并允许属于它的container被收回。
ResourceManager
1、ResourceManager负责整个集群的资源管理和分配,是一个全局的资源管理系统。
2、NodeManager以心跳的方式向ResourceManager汇报资源使用情况(目前主要是CPU和内存的使用情况)。ResourceManager只接收来自NodeManager的资源和节点状态汇报,并向NodeManager下达管理资源命令,对于具体的资源处理则交给NodeManager自己处理。
3、YARN Scheduler根据application的请求为其分配资源,不负责application job的监控、追踪、运行状态反馈、启动等工作。
NodeManager
1、NodeManager是每个节点上的资源和任务管理器,它是管理这台机器的代理,负责该节点程序的运行,以及该节点资源的管理和监控。YARN集群每个节点都运行一个NodeManager。
2、NodeManager定时向ResourceManager汇报本节点资源(CPU、内存)的使用情况和Container的运行状态。当ResourceManager宕机时NodeManager自动连接ResourceManager备用节点。
3、NodeManager接收并处理来自ApplicationMaster的Container启动、停止等各种请求。
ApplicationMaster
1、用户提交的每个应用程序均包含一个ApplicationMaster,它可以运行在ResourceManager以外的机器上。
负责与ResourceManager调度器协商以获取资源(用Container表示)。
2、将得到的任务进一步分配给内部的任务(资源的二次分配)。
3、与NodeManager通信以启动/停止任务。
4、监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。
5、当前YARN自带了两个ApplicationMaster实现,一个是用于演示ApplicationMaster编写方法的实例程序DistributedShell,它可以申请一定数目的Container以并行运行一个Shell命令或者Shell脚本;另一个是运行MapReduce应用程序的ApplicationMaster。
Container
1、YARN中的资源抽象,封装某个节点上多维资源如内存、CPU、磁盘、网络等,当ApplicationMaster向ResourceManager申请资源时,ResourceManager向ApplicationMaster返回的资源便是用Container表示的。
2、YARN会为每个任务分配一个Container,且该任务只能使用该Container中描述的资源。