hive小文件的问题弊端以及合并

   小文件的弊端

      1、HDFS中每个文件的元数据信息，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；

       2、在读取小文件多的目录时，MR会产生更多map数，造成GC频繁，浪费集群资源；

       3、现在大数据平台文件总数超过30亿，单个NS文件数超过4亿的时候，读写性能会急剧下降，影响到所有读写该NS的任务性能；

       4、如果队列限制最大map数是20000，任务读取的分区文件数超过20000，需要加参数进行读取时小文件合并，或否则任务map数超过限制数直接被查杀。

具体没有合并之前，查看一个分区的文件

在hive窗口下 dfs -ls hdfs://ns1007/user/mart_sch/app.db/app_xz_jimi3_usp_gdm_m03_sold_item_sku_da/dt=2019-11-10

(dfs -ls hive表的位置)

发现dt=2019-11-10分区下面有两个小文件（小文件一般是小于128M）