HDFS简介
HDFS要实现以下目标:
1.兼容廉价的硬件设备
2.流数据读写
3.大数据集
4.简单的文件模型
5.强大的跨平台兼容性
块
HDFS默认一个块64MB,一个文件被分成多个块,以块作为存储单位,块的大小远远大于普通的文件系统,可以减少寻址开销
HDFS采用抽象的块概念可以带来以下几个明显的好处:
1.支持大规模文件存储:文件以块为单位进行存储,一个大规模文件可以被分拆成若干个文件块,不同的文件块可以被分发到不同的节点上,因此
,一个文件的大小不会受到单个节点的存储容量的限制,可以远远大于网络中任意节点的存储容量
2.简化系统设计:首先,大大简化了存储管理,因为文件块大小是固定的,这样就可以很容易计算出一个节点可以存储多少文件块;其次,方便了