yarn资源调度
yarn的介绍
yarn是hadoop集群中的资源管理系统模块,yarn可以为各类计算框架提供资源的管理和调度。
1.调度服务器中的各种硬件资源
2.管理运行各种任务(任务何时开始,何时结束,是什么状态)
即主要是为了 资源调度、管理任务。
yarn核心出发点是分离资源管理和作业监控。资源管理是拥有全局的资源管理(ResourceManager,RM)以及每个应用程序对应的应用管理器(ApplicationMaster,AM)
hadoop的架构模型
1.x架构
• NameNode:集群当中的主节点,管理元数据(文件的大小,文件的位置,文件的权限),主要用于管理集群中的各种数据
• DataNode:集群当中的从节点,主要用于存储集群当中的各种数据
• SecondaryNameNode:主要用于hadoop当中元数据信息的辅助管理(减轻Nomenode的压力)
Hadoop 2.x架构
第一种:NameNode与ResourceManager单节点架构模型
HDFS文件存储系统与1.x相同。
引入了Yarn资源调度系统(MapReduce运行在Yarn系统中)
数据计算核心模块:
ResourceManager: