董西城《深入解析YARN》-第1章

一、Hadoop源代码组织结构

• ❑bin：Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。
• ❑etc：Hadoop配置文件所在的目录，包括core-site.xml、hdfs-site.xml、mapred-site.xml等从Hadoop 1.0继承而来的配置文件和yarn-site.xml等Hadoop 2.0新增的配置文件。
• ❑include：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++语言访问HDFS或者编写MapReduce程序。
• ❑lib：该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。
• ❑libexec：各个服务对应的Shell配置文件所在目录，可用于配置日志输出目录、启动参数（比如JVM参数）等基本信息。
• ❑sbin：Hadoop管理脚本所在目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本。

二、Yarn源代码组织结构

总体上看，Hadoop YARN分为5部分：API、Common、Applications、Client和Server，它们的内容具体如下：

• ❑YARN API（hadoop-yarn-api目录）：给出了YARN内部涉及的4个主要RPC协议的Java 声明和ProtocolBuffers定义，这4个RPC协议分别是ApplicationClientProtocol、ApplicationMasterProtocol、ContainerManagementProtocol和ResourceManagerAdministrationProtocol，本书将在第2章对这部分内容进行详细介绍。
• ❑YARN Common（hadoop-yarn-common目录）：该部分包含了YARN底层库实现，包括事件库、服务库、状态机库、Web界面库等，本书将在第3章对这部分内容进行详细介绍。
• ❑YARN Applications（hadoop-yarn-applications目录）：该部分包含了两个Application编程实例，分别是distributedshell和Unmanaged AM，本书将在第4章对这部分内容进行详细介绍。
• ❑YARN Client（hadoop-yarn-client目录）：该部分封装了几个与YARN RPC协议交互相关的库，方便用户开发应用程序，本书将在第4章对这部分内容进行详细介绍。
• ❑YARN Server（hadoop-yarn-server目录）：该部分给出了YARN的核心实现，包括ResourceManager、NodeManager、资源管理器等核心组件的实现，本书将在第5~7章对这部分内容进行详细介绍。