HDFS学习笔记

HDFS简介

HDFS要实现以下目标：

1.兼容廉价的硬件设备
2.流数据读写
3.大数据集
4.简单的文件模型
5.强大的跨平台兼容性

块

HDFS默认一个块64MB，一个文件被分成多个块，以块作为存储单位，块的大小远远大于普通的文件系统，可以减少寻址开销
HDFS采用抽象的块概念可以带来以下几个明显的好处：
1.支持大规模文件存储：文件以块为单位进行存储，一个大规模文件可以被分拆成若干个文件块，不同的文件块可以被分发到不同的节点上，因此

，一个文件的大小不会受到单个节点的存储容量的限制，可以远远大于网络中任意节点的存储容量
2.简化系统设计：首先，大大简化了存储管理，因为文件块大小是固定的，这样就可以很容易计算出一个节点可以存储多少文件块；其次，方便了