面试复盘之ｈｄｆｓ小文件

1. 小文件产生的原因

• 批处理、离线计算都会有小文件产生；

• 数据源本身就有很多小文件；

• ＭａｐＲｅｄｕｃｅ和Ｓｐａｒｋ作业时，没有设置好ＲｅｄｕｃｅＴａｓｋ个数或者Ｓｐａｒｋ最后一层Ｔａｓｋ的数量。

2. 小文件的危害

• 元数据存储在内存中，影响Ｎａｍｅｎｏｄｅ的寿命；

• 每一个小文件都会产生一个ｍａｐ任务，影响计算引擎的任务数量。

3. 如何解决小文件的影响

• 合并小文件，对小文件进行ｈａｒ归档；

• 采用ＣｏｍｂｉｎｅＦｉｌｅＩｎｐｕｔｆｏｒｍａｔ，把所有文件放到一起统一切片；

• 开启ＪＶＭ重用（开启ＪＶＭ，不关闭，直到所有任务都做完了，再关闭）【ｔａｓｋ必须属于同一个ｊｏｂ】，慎用，只适合小文件多的场景