【大数据】Hadoop的HDFS设计（图解）

一、文件存储

对于文件的存储：第一种：纵向扩展 加存储空间，有局限性，成本不是线性增长

第二种：横向扩展，加机器

一）HDFS体系结构

• Namenode：名字节点，用来管理文件的元数据信息（各个文件块所在的位置），如果元数据信息丢失，HDFS集群瘫痪。
• Datanode：用来存储文件按数据的，会定期向Namenode发送心跳包。
• BlockSize：文件块，hdfs的文件块Hadoop1大小是64MB,Hadoop2是128MB。在完全分布式下，一个文件块有两个副本。BlockSize=128MB。
• Rack机架：一个block在同一个机架有一个副本，在另一个机架有一个副本。
• Clice客户端：在操作hdfs的时候都需要通过namenode。
• secondaryNamenode机制：                                                                                                                                                    1）hadoop只有两个文件，一个是edits文件，edits用来记录文件的操作，一个是fsimage文件，fsimage用来存储元数据信息。