HDFS 随记

随手记录，不确定百分百正确，请指正

HDFS 随记

数据块

---

  HDFS的块默认128MB。 HDFS中小于一块大小的文件不会占据整个块的大小（例如，当一个1Mb的的文件存储在一个128MB的块上面，文件仅使用1MB，而不是128MB）
  HDFS的块比磁盘的块大，其目的是为了最小化寻址开销，但是如果块足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的大文件的时间取决于磁盘传输速率。
  MapReduce中的map任务通常一次只处理一个块中的数据，因此如果任务数太少（少于集群中的节点数量），作业的运行速度就会比较慢。
  使用抽象块的好处：一、一个文件的大小可以大于网络中任意一个磁盘的容量。文件的所有块并不需要存储在同一个磁盘上，因此可以利用集群上的任意一个磁盘进行存储。二、使用抽象块，简化了存储子系统的设计。