HDFS (分布式文件存储)
管理者:NameNode
作用:负责管理,管理集群内各个节点。负责管理整个文件系统的元数据(描述数据的索引),名字空间,目录树的维护
工作者:DataNode
作用:负责工作,进行读写数据。 周期向NameNode汇报。
负责管理用户的文件数据块.
辅助者:SecondaryNameNode
作用:责辅助NameNode管理工作。
辅助namenode管理元数据信息
MapReduce (离线数据计算框架)
Yarn (集群资源调度)
管理者:ResourceManager
工作者:NodeManager
HDFS使用场景:海量数据的存储
HDFS可用的总容量是集群中所有节点的综合,HDFS目录下的数据在任何一个节点都可以使用或访问
hdfs中默认的数据块切分大小是128M,128只是一个数据切分的分界线,若上传数据超过128M,那 么对数据 进行切分。若小于128,有多大上传多大,数据块就是多大。