HDFS设计的初衷是存储大文件,如果单个DataNode有12块2T的硬盘,则可使用存储空间24T,如果每个块100M,则可存储251658,如果每个块50M,则可存储503316.
DataNode会向NameNode进行两种类型的块报告:增量报告与全量报告,DataNode接收到块,或者删除块会立即向NM报告,这属于增量报告;全量报告周期性发生,定时将当前DN上所有数据块信息报告给NM.NM处理一百万的块报告需要1s左右,这1s左右NM会被锁住,其他的请求会被阻塞.因此单节点存储50万左右对NM影响不会太多,而且hadoop本身是做离线处理,主要在规定时间范围内把任务做完就OK,不关心每次请求的响应时间。
DataNode同时也会周期性扫描本地磁盘的目录,验证内存中记录的块信息与磁盘上存储的块元数据是否一致.
如果存储大文件,该设计方式不会有什么问题,如果存储大量小文件,就会暴露出一些问题。
小文件可能很小,比如文件平均大小为1M,单DN12块盘工24TB空间,则可存储数据块25165824即2000多万个块。如文件更小,单DN能够存储的数据块更多。这样会引起几个问题:
1、因为DN扫描本地磁盘文件目录时候,会涉及到比对内存记录的文件长度与磁盘上文件长度,整个过程DN会锁住,DN不能进行读写操作,磁盘操作速度本身就是毫秒级ÿ