HDFS、YARN、MapReduce概述及三者之间的关系

一、HDFS架构概述

1、HDFS定义

HDFS(Hadoop Distributed File System) 它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

2、HDFS组成

1、NameNode（nn）: 就是Master，它是一个主管、管理者。存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。(告诉在哪存储，储存什么内容)

• 管理HDFS的名称空间 ;
• 配置副本策略；
• 管理数据块（Block）映射信息；
• 处理客户端读写请求。

2、DataNode : 就是slave，NameNode下达命令，DataNode执行实际的操作。

• 存储实际的数据块；
• 执行数据块的读、写操作

3、2nn：每隔一段时间对NameNode元数据备份