文件合并上传

-通过hdfs putMerge命令合并上传的文件

通过命令 bin/hdfs dfs 查看dfs的一些操作命令可以找到-getmerge命令

[hao@bigdata00 hadoop-2.5.0]$ bin/hdfs dfs 
Usage: hadoop fs [generic options]
    [-appendToFile <localsrc> ... <dst>]
    [-cat [-ignoreCrc] <src> ...]
    [-checksum <src> ...]
    [-chgrp [-R] GROUP PATH...]
    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
    [-chown [-R] [OWNER][:[GROUP]] PATH...]
    [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
    [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-count [-q] <path> ...]
    [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
    [-createSnapshot <snapshotDir> [<snapshotName>]]
    [-deleteSnapshot <snapshotDir> <snapshotName>]
    [-df [-h] [<path> ...]]
    [-du [-s] [-h] <path> ...]
    [-expunge]
    [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-getfacl [-R] <path>]
    [-getfattr [-R] {-n name | -d} [-e en] <path>]
    [-getmerge [-nl] <src> <localdst>]
    [-help [cmd ...]]
    [-ls [-d] [-h] [-R] [<path> ...]]
    [-mkdir [-p] <path> ...]
    [-moveFromLocal <localsrc> ... <dst>]
    [-moveToLocal <src> <localdst>]
    [-mv <src> ... <dst>]
    [-put [-f] [-p] <localsrc> ... <dst>]
    [-renameSnapshot <snapshotDir> <oldName> <newName>]
    [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
    [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
    [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
    [-setfattr {-n name [-v value] | -x name} <path>]
    [-setrep [-R] [-w] <rep> <path> ...]
    [-stat [format] <path> ...]
    [-tail [-f] <file>]
    [-test -[defsz] <path>]
    [-text [-ignoreCrc] <src> ...]
    [-touchz <path> ...]
    [-usage [cmd ...]]

合并本机上传的三个文件

通过以上操作查看[-getmerge [-nl] ]可知，命令后前面是hdfs需要合并风文件路径，后面是合并后本机地址文件
[hao@bigdata00 hadoop-2.5.0]$ bin/hdfs dfs -getmerge /data/HebingData/core.xml /data/HebingData/hdfs.xml /data/HebingData/yarn.xml /opt/datafile/hebing/2.xml

操作后可以看到本机目录下有了 2.xml这个合并后的文件

[hao@bigdata00 hadoop-2.5.0]$ ll /opt/datafile
total 12
-rw-r--r-- 1 hao hao 1034 Feb 14 00:26 core.xml
drwxrwxr-x 2 hao hao 4096 Feb 14 02:19 hebing
-rw-rw-r-- 1 hao hao  128 Feb 10 05:50 wc.input
[hao@bigdata00 hadoop-2.5.0]$ ll /opt/datafile/hebing/
total 4
-rw-r--r-- 1 hao hao 2714 Feb 14 02:19 2.xml

下面通过API实现文件合并后上传
步骤：
1.获取文件系统
2.列举合并文件
3.打开文件，打开输入流
4.打开输出流
5.关闭流

public static void main(String[] args) throws IOException {

//  step 1： 获取文件系统  get FileSystem
        Configuration conf = new Configuration();
        LocalFileSystem localfs =FileSystem.getLocal(conf);
        FileSystem dfs = FileSystem.get(conf);
//  step 2：获取输入及输出文件地址  in/put path
        Path inpath = new Path("/opt/modules/hadoop-2.5.0/etc/hadoop");
        Path outpath =new Path("/data/HebingData/hebing.xml");
//  step 3：打开数据流    open Stream 
        FSDataOutputStream outputStream =null;
//  step 4:列举要合并的文件，并输出     
        FileStatus[] fileStatuse =null;
        try{
        //输出流获取输出地址
         outputStream = dfs.create(outpath);
         //输入流获取要合并的文件地址
         fileStatuse  =localfs.listStatus(inpath);
        // 通过for循环获取要合并的文件
        for(FileStatus FileName:fileStatuse){
            FSDataInputStream inputStream = localfs.open(FileName.getPath());
        IOUtils.copyBytes(inputStream,outputStream, 4096,false);
          //关闭输入流
        IOUtils.closeStream(inputStream);
        //在控制台输出所有合并文件的文件名
        System.out.println(FileName.getPath().getName());
        }
        }catch(Exception e){
            e.printStackTrace();
        }finally{
//  step：5关闭输出流
            IOUtils.closeStream(outputStream);
            //合并完成后在控制台输出
            System.out.print("success PutMerge");
        }

通过控制台查看合并的所有文件

然后通过50070端口在页面查看合并后的文件