Hadoop系列——HDFS文件系统的理解

1

观看10小时大数据入门第3章，回答以下问题。

a、不管文件file多大，都将其存放在一个节点上，是否实现了冗余备份？

在视频中，“不管文件file多大，都将其存放在一个节点上”指的是没有对文件进行拆分/分散存储。而不是指将文件只存放在一个单独的节点上。
单独把这句话拿出来，只将文件只存放在一个单独的节点上，显然没有实现冗余备份。

b、将文件file拷贝并存放在多个节点上，这样实现了冗余备份了吗？

实现了冗余备份。
比如现在很多大厂会采用磁带定期进行全盘备份，磁带便宜，但是不方便进行随机读写，所以一般是全盘拷贝。
这种情况就是“都将其存放在一个节点上”，这也是冗余备份。

c、有什么缺陷呢？

1. 不管文件多大，都存储在一个节点上，在进行数据处理的时候很难进行并行处理，节点可能就成为网络瓶颈
2. 存储负载很难均衡，每个节点的利用率很低

2

HDFS是怎么解决冗余备份这个问题的呢？

副本机制

HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储