-----分布式文件系统HDFS（二）-----

NameNode与Datanode的总结概述

 

5、hdfs的架构之文件的文件副本机制以及block块存储  
   
 

所有的文件都是以block块的方式存放在HDFS文件系统当中，在hadoop1当中，文件的block块默认大小是64M，hadoop2当中，文件的block块大小默认是128M，block块的大小可以通过hdfs-site.xml当中的配置文件进行指定

    <property>

       <name>dfs.block.size</name>

        <value>块大小 以KB为单位</value>//只写数值就可以

    </property>

 

 

5.1、抽象成数据块的好处

1.     一个文件有可能大于集群中任意一个磁盘 
10T*3/128 = xxx块 2T，2T，2T 文件方式存—–>多个block块，这些block块属于一个文件

2.     使用块抽象而不是文件可以简化存储子系统

3.     块非常适合用于数据备份进而提供数据容错能力和可用性

5.2、块缓存

通常DataNode从磁盘中读取块，但对于访问频繁的文件，其对应的块可能被显示的缓存在DataNode的内存中，以堆外块缓存的形式存在。默认情况下，一个块仅缓存在一个DataNode的内存中，当然可以针对每个文件配置DataNode的数量。作业调度器通过在缓存块的Da