Hadoop2.x:HDFS存储小文件问题及其解决方法

          HDFS设计的初衷是存储大文件,如果单个DataNode有12块2T的硬盘,则可使用存储空间24T,如果每个块100M,则可存储251658,如果每个块50M,则可存储503316.

         DataNode会向NameNode进行两种类型的块报告:增量报告与全量报告,DataNode接收到块,或者删除块会立即向NM报告,这属于增量报告;全量报告周期性发生,定时将当前DN上所有数据块信息报告给NM.NM处理一百万的块报告需要1s左右,这1s左右NM会被锁住,其他的请求会被阻塞.因此单节点存储50万左右对NM影响不会太多，而且hadoop本身是做离线处理，主要在规定时间范围内把任务做完就OK，不关心每次请求的响应时间。

DataNode同时也会周期性扫描本地磁盘的目录,验证内存中记录的块信息与磁盘上存储的块元数据是否一致.

如果存储大文件,该设计方式不会有什么问题,如果存储大量小文件，就会暴露出一些问题。

小文件可能很小，比如文件平均大小为1M，单DN12块盘工24TB空间，则可存储数据块25165824即2000多万个块。如文件更小，单DN能够存储的数据块更多。这样会引起几个问题：

1、因为DN扫描本地磁盘文件目录时候，会涉及到比对内存记录的文件长度与磁盘上文件长度，整个过程DN会锁住，DN不能进行读写操作，磁盘操作速度本身就是毫秒级ÿ