hadoop的组成

hadoop1.x组成：

  MapReduce（计算+资源调度）
  HDFS（数据存储）
  Common（辅助工具，HDFS和MR共有的常用的工具包模块！）

hadoop1.x时：MapReduce同时处理业务逻辑运算和资源调度，耦合性较大

hadoop2.x组成：

  MapReduce（计算）
  Yarn（资源调度）
  HDFS（数据存储）
  Common（辅助工具，HDFS和MR共有的常用的工具包模块！）

  hadoop2.x增加了Yarn，Yarn只负责资源调度，MapReduce只负责运算
  将资源调度和管理进行分离！由统一的资源调度平台YARN进行大数据计算资源的调度！
  提升了Hadoop的通用性！Hadoop搭建的集群中的计算资源，不仅可以运行Hadoop中的MR程序！也可以运行其他计算框架的程序！

HDFS

负责大数据的存储
  核心进程：
  必须进程：
   Namenode(1个)： 负责文件，名称等元数据(属性信息)的存储！
   文件名，大小，文件切分了多少块(block)，创建和修改时间等！
    职责： 接受客户端的请求！
    接受DN的请求！
    向DN分配任务！

   Datanode(N个)： 负责文件中数据的存储！
    职责： 负责接受NM分配的任务！
    负责数据块(block)的管理(读，写)！

  可选进程：
   SecondaryNamenode(N个): 负责辅助NameNode工作！

MapReduce

  MapReduce(编程规范)： 程序中有Mapper(简单处理)和Reducer(合并)

  遵循MapReduce的编程规范，编写的程序，打包后，称为一个Job(任务)！
  Job需要提交到YARN上，向YARN申请计算资源，运行Job中的Task(进程)！
  Job会先创建一个进程MRAppMaster(mapreduce 应用管理者)，由MRAppMaster向YARN申请资源！
  MRAppMaster负责监控Job中各个Task运行情况，进行容错管理！

YARN

  YARN负责集群中所有计算资源的管理和调度！

   常见进程：
    ResourceManager(1个): 负责整个集群所有资源的管理！
     职责： 负责接受客户端的提交Job的请求！
     负责向NM分配任务！
     负责接收NM上报的信息！

    NodeManager(N个): 负责单台计算机所有资源的管理！
     职责： 负责和RM进行通信，上报本机中的可用资源！
     负责领取RM分配的任务！
     负责为Job中的每个Task分配计算资源！

  概念：
   Container（容器）: NodeManager为Job的某个Task分配了2个CPU和2G内存的计算资源！
   为了防止当前Task在使用这些资源期间，被其他的task抢占资源！
   将计算资源，封装到一个Container中，在Container中的资源，会被暂时隔离！
   无法被其他进程所抢占！

   当前Task运行结束后，当前Container中的资源会被释放！允许其他task来使用！