yarn学习笔记

yarn资源调度

yarn的介绍

yarn是hadoop集群中的资源管理系统模块，yarn可以为各类计算框架提供资源的管理和调度。
1.调度服务器中的各种硬件资源
2.管理运行各种任务（任务何时开始，何时结束，是什么状态）
即主要是为了 资源调度、管理任务。
yarn核心出发点是分离资源管理和作业监控。资源管理是拥有全局的资源管理（ResourceManager,RM）以及每个应用程序对应的应用管理器（ApplicationMaster，AM）

hadoop的架构模型
1.x架构

• NameNode：集群当中的主节点，管理元数据（文件的大小，文件的位置，文件的权限），主要用于管理集群中的各种数据
• DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
• SecondaryNameNode：主要用于hadoop当中元数据信息的辅助管理（减轻Nomenode的压力）

Hadoop 2.x架构
第一种：NameNode与ResourceManager单节点架构模型
HDFS文件存储系统与1.x相同。
引入了Yarn资源调度系统（MapReduce运行在Yarn系统中）
数据计算核心模块：
ResourceManager：