众所周知,HDFS中过多的小文件,会给NameNode造成很大的压力,所谓的小文件,是指远远小于文件块大小的文件。
在使用HDFS的过程中,应尽量避免生成过多的小文件。
本文以TextFile为例,介绍一下从本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上传下载移动过程中,对小文件的合并方法。
将本地的小文件合并,上传到HDFS
假设存放在本地的数据由很多个小文件组成,需要上传到HDFS。一般的做法是在本地使用脚本、程序先把小文件合并后再上传。
其实没有必要,HDFS中提供了一个很有用的命令 appendToFile,就可以解决这个问题。
假设本地有两个小文件1.txt和2.txt,里面内容如下:
[fuyun@bigdata-client-01 data]$ cat 1.txt
111111
111111
111111
111111
111111
111111
[fuyun@bigdata-client-01 data]$ cat 1.txt
222222
222222
222222
222222
222222
222222
使用下面的命令,可以将1.txt和2.txt合并,并上传到HDFS:
[fuyun@bigdata-client-01 data]$ hdfs dfs -appendToFile 1.txt 2.txt hdfs://hacluster/user/hive/warehouse/dw_tmp.db/fuyun12.txt
[fuyun@bigdata-client-01 data]$ hdfs dfs -cat hdfs://hacluster/user/hive/warehouse/dw_tmp.db/fuyun12.txt
111111
111111
111111
111111
111111
111111
222222
222222
222222
222222
222222
222222
下载HDFS的小文件到本地,合并成一个大文件
假设在HDFS的hdfs://hacluster/user/hive/warehouse/dw_tmp.db/
目录下,有两个小文件1.txt
和2.txt
需要将它们下载到本地的一个文件中。
[fuyun@bigdata-client-01 data]$ hdfs dfs -cat hdfs://hacluster/user/hive/warehouse/dw_tmp.db/1.txt
111111
111111
111111
111111
111111
111111
[fuyun@bigdata-client-01 data]$ hdfs dfs -cat hdfs://hacluster/user/hive/warehouse/dw_tmp.db/2.txt
222222
222222
222222
222222
222222
222222
使用下面的命令:
[fuyun@bigdata-client-01 data]$ hdfs dfs -getmerge hdfs://hacluster/user/hive/warehouse/dw_tmp.db/?.txt local_largefile.txt
[fuyun@bigdata-client-01 data]$ cat local_largefile.txt
111111
111111
111111
111111
111111
111111
222222
222222
222222
222222
222222
222222
合并HDFS上的小文件
如果需要合并HDFS上的某个目录下有很多小文件,可以尝试使用下面的命令:
[fuyun@bigdata-client-01 data]$ hdfs dfs -cat hdfs://hacluster/user/hive/warehouse/dw_tmp.db/?.txt | hdfs dfs -appendToFile - hdfs://hacluster/user/hive/warehouse/dw_tmp.db/hdfs_largefile.txt
[fuyun@bigdata-client-01 data]$ hdfs dfs -cat hdfs://hacluster/user/hive/warehouse/dw_tmp.db/hdfs_largefile.txt
111111
111111
111111
111111
111111
111111
222222
222222
222222
222222
222222
222222
注意: 这种处理方法在数据量非常大的情况下可能不太适合,最好使用MapReduce来合并。