架构图
hdfs采用master/slave架构,主要由以下组件组成:client、namenode、secondarynode、datanode
1、client
client通过与namenode和datenode的访问hdfs中文件,client提供一些接口供用户调用
2、namenode
hadoop集群只有一个namenode,它负责管理hdfs目录树以及相关文件的元数据(matedata)信息。
matedata包括:fsimage(hdfs元数据镜像文件)和edits(文件改动日志)。fsimage保存了block块的存储信息,
fsimage和edits保存在本地磁盘:${hadoop.tmp.dir}/dfs/name/current/
注:hdfs上每个文件都要在namenode上建立索引,索引大小大约为150byte。所以大量小文件会产生很多索引,占用大量namenode内存,而且索引太多导致检索速度变慢
3、secondarynode
secondarynode不是namenode的热备份,它的主要任务是合并edits日志到fsimage文件,然后将fsimage传输给namenode。
4、datanode
负责实际数据存储(block),并每隔3s向namenode汇报信息。
一个大文件会被切分成若干个bolck,每个block默认64M,分别存储到不同的datanode。每个block默认会被复制成3份保存到不同的datanode。第二个block保存在不同机架的datanode,第三个block保存在与第二个block相同机架的不同datanode。