HADOOP HDFS

HADOOP HDFS

1 HDFS的优缺点

优点:

– 适合大数据处理：GB 、TB 、甚至PB 级及以上的数据

– 百万规模以上的文件数量:10K+ 节点。

– 适合批处理：移动计算而非数据(MR),数据位置暴露给计算框架

– 可构建在廉价机器上

– 高可靠性:通过多副本提提高

– 高容错性：数据自动保存多个副本；副本丢失后，自动恢复,提供了恢复机制

缺点:

–低延迟高数据吞吐访问问题

•比如不支持毫秒级

•吞吐量大但有限制于其延迟

–小文件存取占用NameNode大量内存（寻道时间超过读取时间（99%））

–不支持文件修改：一个文件只能有一个写者（深入）

仅支持append不支持修改（其实本身是支持的，主要为了空间换时间，节约成本

2 HDFS架构

3 HDFS 数据存储模型（block）

**–**文件被线性切分成固定大小的数据块block

​ •通过偏移量offset（单位：byte）标记

•默认数据块大小为64MB (hadoop1.x)，可自定义配置

•若文件大小不到64MB ，则单独存成一个block

- 一个文件存储方式

​ •按大小被切分成若干个block ，存储到不同节点上

​ •默认情况下每个block都有2个副本 共3个副本

​ •副本数不大于节点数

- Block大小和副本数通过Client端上传文件时设置，文件上传成功后副本数可以变更，Block Size大小不可变更

4 NameNode（简称NN）

– NameNode主要功能：

​ 1、接受客户端的读/写服务。

​ 2、接受DN汇报的block位置信息。

– NameNode保存metadate元信息。

​ 基于内存存储 ：不会和磁盘发生交换;

​ metadate元数据信息包括以下：

•文件owership(归属)和permissions(权限)

•文件大小 时间

•Block列表[偏移量]：即一个完整文件有哪些block（b0+b1+b2+…=file）

•位置信息=Block每个副本保存在哪个DataNode中（由DataNode启动时上报给NN 因为会随时变化,不保存在磁盘）–动态的!

– NameNode的metadate信息在启动后会加载到内存

•metadata存储到磁盘文件名为”fsimage”的镜像文件

•Block的位置信息不会保存到fsimage

•edits记录对metadata的操作日志

5 SecondaryNameNode（SNN）

– 它的主要工作是帮助NN合并edits log文件，减少NN启动时间,它不是NN的备份（但可以做备份)。

– SNN执行合并时间和机制

​ •A、根据配置文件设置的时间间隔fs.checkpoint.period 默认3600秒

​ •B、根据配置文件设置edits log大小 fs.checkpoint.size 规定edits文件的最大值默认是64MB

6 SecondaryNameNode SNN合并流程

7 DataNode（DN）

– 存储数据（Block）

– 启动DN线程的时候会向NameNode汇报block位置信息

– 通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN

8 Block的副本放置策略

– 第一个副本：集群内提交,放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。

– 第二个副本：放置在于第一个副本不同的机架的节点上。

– 第三个副本：与第二个副本相同机架的不同节点。

– 更多副本：随机节点

9 HDFS读写流程

1 读文件过程

2 写 文件流程