Hadoop（入门）笔记1

1. Hadoop组成（Hadoop1.x和Hadoop2.x的区别）
   Hadoop1.x组成：MapReduce（计算+资源调度）、HDFS（数据存储）、Comment（辅助工具）
   Hadoop2.x组成：MapReduce（计算）、yarn（资源调度）、HDFS（数据存储）、Comment（辅助工具）
   在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.0时代，增加了yarn，Yarn只负责资源的调度，MapReduce只负责运算
2. yarn架构概述
   1） ResourceManager（RM ）的主要作用：
   （1）处理客户端请求
   （2）监控NodeManager
   （3）启动或监控ApplicationMaster
   （4）资源的分配与调度
   2）NodeManager(NM)主要作用如下
   （1）管理单个结点上的资源
   （2）处理来自ResourceManager的命令
   （3）处理来自ApplicationMaster的命令
   3）ApplicationMaster（AM）作用
   （1）负责数据的切分
   （2）为应用程序申请资源并分配给内部的任务
   （3）任务的监控与容错
   4）Container
   Container是yarn中的资源抽象，封装了某个结点上的多维度资源，如内存、CPU、磁盘、网络等。在yarn的nodeManager节点上，会将机器的CPU和内存的一定值抽离出来，抽离成虚拟的值，然后这些虚拟的值在根据配置组成多个Container，当application提出申请时，就会分配相应的Container资源。
3. hadoop重要目录
   （1）bin目录：存放对Hadoop相关服务（HDFS、yarn）进行操作的脚本
   （2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
   （3）lib目录：存放Hadoop的本地库（对大户局进行压缩解压缩功能）
   （4）sbin目录：存放启动或停止Hadoop相关服务的脚本
   （5）share目录：存放Hadoop的依赖jar包、文档和官方案例