1、块大小
默认容量规格:128m
一个文件130m,则130%128=1…2,它会被切分为两个块,一个块128m,一个块2m
2、hdfs适用场景:大文件存储,小文件是致命的
- 生产上,小文件的阈值由自己估算,一般会设阈值<=30m的文件为小文件,nn节点维护的字节大约250字节,假设nn内存为4g=42亿字节,那么最多可以放42亿/250b=1700万个小文件
3、如何合并小文件?(场景)
- 数据未落地到hdfs之前合并
- 数据已经落地到hdfs,用spark service服务,每天调度去合并,一般根据业务周期-xx天
4、小文件的危害:
- 撑爆nn,影响正在运行的hdfs
- 计算的时候,影响hive/spark的速度