董西城《深入解析YARN》-第1章

一、Hadoop源代码组织结构

  • ❑bin:Hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用Hadoop。
  • ❑etc:Hadoop配置文件所在的目录,包括core-site.xml、hdfs-site.xml、mapred-site.xml等从Hadoop 1.0继承而来的配置文件和yarn-site.xml等Hadoop 2.0新增的配置文件。
  • ❑include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用C++定义的,通常用于C++语言访问HDFS或者编写MapReduce程序。
  • ❑lib:该目录包含了Hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用。
  • ❑libexec:各个服务对应的Shell配置文件所在目录,可用于配置日志输出目录、启动参数(比如JVM参数)等基本信息。
  • ❑sbin:Hadoop管理脚本所在目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本。

二、Yarn源代码组织结构

总体上看,Hadoop YARN分为5部分:API、Common、Applications、Client和Server,它们的内容具体如下:

  • ❑YARN API(hadoop-yarn-api目录):给出了YARN内部涉及的4个主要RPC协议的Java 声明和ProtocolBuffers定义,这4个RPC协议分别是ApplicationClientProtocol、ApplicationMasterProtocol、ContainerManagementProtocol和ResourceManagerAdministrationProtocol,本书将在第2章对这部分内容进行详细介绍。
  • ❑YARN Common(hadoop-yarn-common目录):该部分包含了YARN底层库实现,包括事件库、服务库、状态机库、Web界面库等,本书将在第3章对这部分内容进行详细介绍。
  • ❑YARN Applications(hadoop-yarn-applications目录):该部分包含了两个Application编程实例,分别是distributedshell和Unmanaged AM,本书将在第4章对这部分内容进行详细介绍。
  • ❑YARN Client(hadoop-yarn-client目录):该部分封装了几个与YARN RPC协议交互相关的库,方便用户开发应用程序,本书将在第4章对这部分内容进行详细介绍。
  • ❑YARN Server(hadoop-yarn-server目录):该部分给出了YARN的核心实现,包括ResourceManager、NodeManager、资源管理器等核心组件的实现,本书将在第5~7章对这部分内容进行详细介绍。
发布了45 篇原创文章 · 获赞 1 · 访问量 2775
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 游动-白 设计师: 上身试试

分享到微信朋友圈

×

扫一扫,手机浏览