hadoop 文件存放策略_HDFS详解（架构设计、副本放置策略、读写流程、进程、常用命令等）...

HDFS详解(架构设计、副本放置策略、读写流程、进程、常用命令等)

发布时间：2018-06-04 10:20,

浏览次数：485

, 标签：

HDFS

前言：当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区(Partition)并存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统成为分布式文件系统(distributed

filesystem)。该系统架构与网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。例如：使文件系统能够容忍节点故障且不丢失任何数据，就是一个极大的挑战。

一、HDFS的设计

HDFS是以流式数据访问模式来存储超大文件，具有以下特点：

* 流式数据访问    HDFS构建思路决定为：一次写入、多次读取是最高效的访问模式。

* 商用硬件    Hadoop不需要部署在高昂且高可靠的硬件上，HDFS的设计使得数据的靠可性和安全性增加。

* 低时间延迟的数据访问    HDFS不适合此种方式，对于低延迟的访问需求，可以选择HBase。

* 大量的小文件    Namenode用于存储文件系统的元数据，首相与Namenode的内存，对于大量的小文件，Namenode的管理压力过大。

* 多用户写入，任意修改文件    HDFS不支持多用户写入操作，也不支持在文件任意位置进行修改，数据的添加在文件的末尾。

二、HDFS的架构设计

HDFS的架构遵循主/从架构模式，主要进程为Namenode，Datanode，Second