场景
合并小文件,存放到HDFS上。例如,当需要分析来自许多服务器的Apache日志时,各个日志文件可能比较小,然而Hadoop更合适处理大文件,效率会更高,此时就需要合并分散的文件。如果先将所有文件合并,在复制上传到HDFS上的话,需要占用本地计算机的大量磁盘空间。采取在向HDFS复制上传文件的过程中将小文件进行合并,效果会更好。
开发一个PutMerge程序,用于将合并文件后放入HDFS。
命令getmerge用于将一组HDFS文件在复制到本地计算机一起进行合并。
分析
文件的上传和下载就是字节字符流的读写操作
读文件:输入流-->read
写文件:输出流-->write
1、每个本地文件代开输入流,进行读取内容
2、HDFS文件打开输出流,进行内容写入。
3、循环操作(就是进行把小文件用流读出,在流状态下汇总到一定规模,然后写入到hdfs)
4、关闭流
实现代码
package org.dragon.hadoop.hdfs; import org.apache.hadoop.conf.Configuration;