HDFS物理块存储大小

HDFS物理块存储大小

一、HDFS数据块

数据块：Block是HDFS物理上把数据分成一块一块。
数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。
hadoop数据切片大小默认与hdfs块大小相同为128M，避免MR程序读取数据时，出现跨节点读取。

关于如何确定的128M请详见上一篇文章：HDFS文件块大小设置原理

二、实际存储

HDFS对文件存储时时按照128M切分数据块，无论多出来多少。
示例：HDFS上传大小为128.7M的文件，实际存储为两个数据块，一个128M，另一个0.7M。

首先准备大小为128.7M的文件（135016448/1024/1024=128.7MB）

上传到HDFS

查看块信息，实际存储为两块
第一块：134217728/1024/1024=128M
第二块：798558/1024/1024=0.7M