HDFS 文件合并及上传至服务器

/*

 *   合并多个小文件，并传至服务器

  为什么要合并？

      从存储角度：小文件占用太多NameNode元数据信息资源，NN资源利用率不高效；合并后占用NN的内存小了，NN就有更多的内存去管理更大规模的集群

      从计算资源的角度：一个小文件占用一个block，一个block被一个map处理，计算资源消耗太多。合并后多个小文件占用一个block，占用的map资源少，减少了计算资源的消耗。而且，从用户角度来看， 耗费的时间，合并后处理文件耗费的时间与多map处理多个小文件耗费的时间相差不大，且节省了资源。

 */

package com.hadoop.hdfs;

import java.io.IOException;

importjava.net.URI;

importjava.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org