013_HDFS文件合并上传putmarge功能（类似于hadoop fs -getmerge）

场景

合并小文件，存放到HDFS上。例如，当需要分析来自许多服务器的Apache日志时，各个日志文件可能比较小，然而Hadoop更合适处理大文件，效率会更高，此时就需要合并分散的文件。如果先将所有文件合并，在复制上传到HDFS上的话，需要占用本地计算机的大量磁盘空间。采取在向HDFS复制上传文件的过程中将小文件进行合并，效果会更好。

开发一个PutMerge程序，用于将合并文件后放入HDFS。

命令getmerge用于将一组HDFS文件在复制到本地计算机一起进行合并。

分析

文件的上传和下载就是字节字符流的读写操作

读文件：输入流-->read

写文件：输出流-->write

1、每个本地文件代开输入流，进行读取内容

2、HDFS文件打开输出流，进行内容写入。

3、循环操作（就是进行把小文件用流读出，在流状态下汇总到一定规模，然后写入到hdfs）

4、关闭流

实现代码

package org.dragon.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;