block块的理解

1、块大小
默认容量规格：128m
一个文件130m，则130%128=1…2，它会被切分为两个块，一个块128m，一个块2m

2、hdfs适用场景：大文件存储，小文件是致命的

• 生产上，小文件的阈值由自己估算，一般会设阈值<=30m的文件为小文件，nn节点维护的字节大约250字节，假设nn内存为4g=42亿字节，那么最多可以放42亿/250b=1700万个小文件

3、如何合并小文件？（场景）

• 数据未落地到hdfs之前合并
• 数据已经落地到hdfs，用spark service服务，每天调度去合并，一般根据业务周期-xx天

4、小文件的危害：

• 撑爆nn，影响正在运行的hdfs
• 计算的时候，影响hive/spark的速度