1: HDFS (一个高可靠、高吞吐量的分布式文件系统)
管理者:NameNode
作用:1 确定指定的文件块到具体的Datanode结点的映射关系。
2 负责管理整个文件系统的元数据(描述数据的索引),名字空间,目录树的维护
3 维护、管理工作者的心跳信息
工作者:DataNode
作用:1 负责工作,进行读写数据。
2 周期向NameNode做心跳报告 (节点是否可用、数据是否丢失、校验和)10分钟没有心跳NameNode认为该节点宕机。每三秒发送一次心跳报告
3 负责数据的流水线复制(一点一点复制)
4 负责管理用户的文件数据块.
辅助者:SecondaryNameNode
作用:1 责辅助NameNode管理工作。
2 辅助namenode管理元数据信息
2: MapReduce (一个分布式的离线并行计算框架)
3:YARN (作业调度与集群资源管理的框架)
管理者:ResourceManager
工作者:NodeManager
HDFS可用的总容量是集群中所有节点的综合,HDFS目录下的数据在任何一个节点都可以使用或访问 hdfs中默认的数据块切分大小是128M,128直至 一个数据切分的分界线,若上传数据超过128M,那么对数据进行 切分。若小于128,有多大上传多大,数据块就是多大。