HDFS的功能和架构原理详解

目录

一、分布式文件系统的理解

二、HDFS的架构详细剖析

1. 文件分块存储&3副本

2. 抽象成数据块的好处

3. HDFS架构

4. 扩展

三、HDFS的shell命令操作

四、HDFS安全模式

---

一、分布式文件系统的理解

• 最直观的理解便是三个臭皮匠，顶个诸葛亮。

• 很多的磁盘加一起就可以装下天下所有的avi

• 类似于你出五毛，我出五毛，我们一起凑一块的效果

如下图：

二、HDFS的架构详细剖析

1. 文件分块存储&3副本

• 保存文件到HDFS时，会先默认按 128M 的大小对文件进行切分；效果如上图

  • 数据以block块的形式进统一存储管理，每个block块默认最多可以存储128M的数据。

  • 如果有一个文件大小为1KB，也是要占用一个block块，但是实际占用磁盘空间还是1KB大小，类似于有一个水桶可以装128斤的水，但是我只装了1斤的水，那么我的水桶里面水的重量就是1斤，而不是128斤

• 每个block块的元数据大小大概为150字节

• 所有的文件都是以block块的方式存放在HDFS文件系统当中，在hadoop1当中，文件的block块默认大小是64M，hadoop2当中，文件的block块大小默认是128M，block块的大小可以通过hdfs-site.xml当中的配置文件进行指定

    <property>
        <name>dfs.blocksize</name>
        <value>块大小 以字节为单位</value><!-- 只写数值就可以 -->
    &l