hdfs 创建用户和用户组_HDFS原理 | 一文读懂HDFS架构与设计

1 前言

HDFS(Hadoop Distributed File System)是我们熟知的Hadoop分布式文件系统，是一个高容错的系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS以流式数据访问模式存储超大文件，将数据按块分布式存储到不同机器上， 并被设计成 适合运行在普通廉价硬件之上。 本文根据Hadoop官网HDFS Architecture这一章节提炼而成， 加上笔者自己的理解，希望能够帮助读者快速掌握HDFS 。

2 HDFS特点

• 流式数据访问：这点初学者可能不好理解，流式数据访问模式是HDFS数据访问特点之一，是指收集到部分数据就开始处理，而不是收集到全部数据再处理，否则会导致比较大的延迟，也会消耗大量内存。
• 大规模数据集：HDFS对大文件存储比较友好，HDFS上的一个典型文件大小一般都在GB至TB级。
• 一次写入多次读取：HDFS数据访问特点之一，文件经过创建、写入和关闭之后就不能够改变。这也简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。
• 不支持低延时数据访问：这也是HDFS数据访问的特点，HDFS关系的是高吞吐量，不适合那些低延时数据访问的应用。
• 单用户写入，不支持任意修改：HDFS的数据以读为主，只支持单个写入者，并且写操作总是以添加的形式在文末追加，不支持在任意位置进行修改。

3 HDFS架构

HDFS采用Master/Slave架构。一个