HDFS-分布式存储系统

Hadoop框架

Hadoop框架组成：

      HDFS:分布式存储系统（Hadoop Distributed File System）

             • 分布式存储系统

             • 提供了 高可靠性、高扩展性和高吞吐率的数据存储服务

      MapReduce:分布式计算框架

            • 分布式计算框架

            • 具有 易于编程、高容错性和高扩展性等优点。

• HDFS优点：

    – 高容错性

        • 数据自动保存多个副本

        • 副本丢失后，自动恢复

    – 适合批处理

        • 移动计算而非数据

        • 数据位置暴露给计算框架

    – 适合大数据处理

        • GB 、TB 、甚至PB 级数据

        • 百万规模以上的文件数量

        • 10K+ 节点

    – 可构建在廉价机器上

        • 通过多副本提高可靠性

        • 提供了容错和恢复 机制

• HDFS缺点：

    – 低延迟数据访问

        • 比如毫秒级

        • 低延迟与高吞吐率

    – 小文件存取

        • 占用NameNode 大量内存

        • 寻道时间超过读取时间

    – 并发写入、文件随机修改（一般不会修改，但是Hadoop2支持）

        • 一个文件只能有一个写者

        • 仅支持append

HDFS架构：

HDFS存储单元：Block

    – 文件被切分成固定大小的数据块

        • 默认数据块大小为128MB (hadoop2.x)，可配置

        • 若文件大小不到128MB ，则单独存成一个block

    – 一个文件存储方式

        • 按大小被切分成若干个block ，存储到不同节点上

        • 默认情况下每个block都有三个副本【加上原来的一共三个，三倍冗余，（可以自己设置）】

    – Block大小和副本数通过Client端上传文件时设置，文件上传成功后副本数可以变更，Block Size不可变更

NameNode（NN）

    – NameNode主要功能：接受客户端的读写服务【将文件读进内存】

    – NameNode保存metadate信息包括（元数据）

        • 文件名称和大小

        • 文件包含哪些块

        • Block保存在哪个DataNode（由DataNode启动时上报）

    – NameNode的metadate信息在启动后会加载到内存

        • metadata存储到磁盘文件名为”fsimage”

        • Block的位置信息不会保存到fsimage（由DataNode上报）

        • edits记录对metadata的操作日志

总结：NameNode操作的是读写数据的信息（元数据），存数据时都会将数据的信息加载到内存（称为元数据），操作的记录都会存储在edits，定期将更改的内容更新到fsimage。

SecondaryNameNode:（SNN）

作用：定期（默认3600秒）从NameNode上获取edits（最大64MB）、fsimage，将更改内容更新草fsimage，返回给NameNode.

了解：

1.NameNode在原edits被拿走的时候生成一个新的edits记录edits拿走这段时间内新的操作日志。（直到SecondaryNameNode来拿下一份edits、fsimage去合并）

2.SecondaryNameNode一般都是在另外一台服务器上跑，它就是为NameNode分担压力的（尤其是在读写操作占据大量内存时）

DataNode

作用：存储数据(Block)。

数据的安全性：

1.数据被分割成不同的块存到磁盘上，（心跳机制）每个（3s）向NameNode发送一次自身的位置信息，如果10分钟不发了，NameNode就认为这个Block丢失了，然后会复制一个新的副本到内存中。

2.一般默认一个块有3份，存到不同的磁盘中。