hadoop之hdfs和yarn

一.简介

- 什么是hdfs？
hdfs是一种分布式系统，其组成是namenode节点和datanode节点。顾名思义，namenode是“名字节点”，存储的是这部分存储区域的相关信息，并管理datanode节点；而datanode存储的就是数据。一个namenode对应一个或多个datanode节点，每一个datanode运行在一台机器上，所以这些datanode组合到一起将形成一个集群（cluster），实现真正的分布式存储文件。需要注意的是namenode和datanode可能运行在同一台机器上。
除此之外，hdfs特别的地方是，加强了存储文件的安全性和完整性。namenode存在副本节点（standby node），当主节点出现问题，比如所运行的机器出现宕机，将由standby节点来取代并获得datanode的管理权限；而且每一段数据将备份在几个不同的datanode上面（根据集群的datanode数量来决定备份个数）。因此，对应的将会有一个存储映射表，来记录每一段数据分别存储在哪些节点中，便于namenode进行管理和查询。

- 什么是yarn
yarn是一个资源管理工具，用来分配资源。它的命名也是极为有趣，YARN（Yet Another Resource Negotiator，另一种资源协调者）。
它包含几个部分 ，ResourceManager，NodeManager，ApplicationMaster以及Container组成，基本思想是将JobTracker中的资源管理和作业调度进行分离，分别交给R