hdfs 小文件合并

(1)使用hive insert overwrite 

insert overwrite table test select * from test 

(2)使用hdfs 命令: 合并src目录下的多个小文件 为 本地磁盘的一个文件

hdfs dfs  -getmerge  <src>  <localdst>

src: 是hdfs 目录

localdst: 是本地磁盘文件

example: hdfs dfs -getmerge  /user/business_log/day=20170927    /user/business_log/out

               hdfs dfs -put  /user/business_log/out   /user/business_log/day=20170927