hadoop：HDFS/MapReduce/Yarn

 

主从节点来解决这种问题；
*NameNode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在DataNode等;
====》NameNode的元数据中的一部分存放在内存中的，在进程当中，另一部分存放在本地磁盘（fsimage：镜像文件和edits：编辑日志）
*DataNode在本地文件系统存储文件块数据，以及块的校验和；
*Secondary NameNode 用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

 

*ResourceManager:处理客户端请求；启动/监控ApplicationMaster;监控NodeManager;资源分配与调度
*ApplicationMaster:数据切分；为应用程序申请资源，并分配给内部任务；任务监控与容错
*NodeManager:单个节点上的资源管理；处理来自ResourceManager的命令；处理来自ApplicationMaster的命令
*Container:对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息

 

 

map分而治之，reduce 合并结果集。