hadoop 的组件有哪些？Yarn的调度器有哪些？

hadoop 的组件有哪些
common、HDFS、MapReduce、YARN
common(工具类)：
包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。
Hadoop Distributed File System(HDFS)
Hadoop实现了一个分布式的文件系统，HDFS为海量的数据提供了存储。HDFS是基于节点的形式进行构建的，里面有一个父节点NameNode，他在机器内部提供了服务，NameNode本身不干活，NameNode将数据分成块，只是把数据分发给子节点，交由子节点来进行存储，由于只存在一个父节点，所以这是HDFS的一个缺点，单点失败。以及n个子节点dataNode,dataNode在机器内部提供了数据块，存储在HDFS的数据被分成块，然后将这些块分到多个计算机(dataNode)中，这与传统的RAID架构大有不同。块的大小（通常为64MB）和复制的块数量在创建文件时由客户机决定。NameNode可以控制所有文件操作。
NameNode：

NameNode 是一个通常在 HDFS实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到 DataNode 上的复制块上。对于最常见的 3 个复制块，第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架的某个节点上。

DataNode:

DataNode 也是一个通常在HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。

MapReduce:

基于YARN的大型数据集并行处理系统。是一种计算模型，用以进行大数据量的计算。Hadoop的MapReduce实现，和Common、HDFS一起，构成了Hadoop发展初期的三个组件。MapReduce将应用划分为Map和Reduce两个步骤，其中Map对数据集上的独立元素进行指定的操作，生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约，以得到最终结果。MapReduce这样的功能划分，非常适合在大量计算机组成的分布式并行环境里进行数据处理。

yarn

1.ResourceManager主要作用：

处理客户端请求
	启动/监控ApplicationMaster
	监控NodeManager
	资源分配与调度

2.NodeManager主要作用：

单个节点上的资源管理和任务管理
	接收并处理来自resourceManager的命令
	接收并处理来自ApplicationMaster的命令
	管理抽象容器container
	定时向RM汇报本节点资源使用情况和各个container的运行状态

3.ApplicationMaster主要作用：

数据切分
	为应用程序申请资源
	任务监控与容错
	负责协调来自ResourceManager的资源，
	开通NodeManager监视容的执行和资源使用（CPU,内存等的资源分配）

4.Container主要作用：

 对任务运行环境的抽象
   任务运行资源（节点，内存，cpu）
   任务启动命令
   任务运行环境

5.JobHistoryServer主要作用

这是yarn提供的一个查看已经完成的任务的历史日志记录的服务，
我们可以启动jobHistoryServer来观察已经完成的任务的所有详细日志信息

6.TimeLineServer主要作用：

hadoop2.4.0以后出现的新特性，主要是为了监控所有运行在yarn平台上面的
所有任务（例如MR，Storm，Spark，HBase等等）

7.调度器
1.FIFO Scheduler （队列调度器）
2.capacity scheduler（容量调度器，apache版本默认使用的调度器）
3.Fair Scheduler（公平调度器，CDH版本的hadoop默认使用的调度器）