HDFS应用

HDFS实际应用场景之文件合并

场景

合并小文件，存放到HDFS上。例如：当需要分析来自许多服务器的Apache日志时，各个日志文件可能比较小，然而Hadoop更适合处理大文件，如果将所有的文件合并，再复制上传到HDFS上的话，需要占用本地计算机大量的磁盘空间。采取在向HDFS复制上传文件过程中将小文件进行合并，效果会更好。

开发程序

开发一个PutMerge程序，用于将合并文件后放入HDFS。

命令getmerge

用于将一组HDFS文件在复制到本地计算机一起进行合并。

代码：putmerge

package hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 * 功能：在向HDFS上传复制文件的过程中进行合并文件
 * 
 * 
 */
public class PutMerge {

    /**
     * 复制上传文件，并将文件合并
     * 
     * @param localDir--->本地要上传的文件目录
     * @param hdfsFile--->HDFS上的文件名称，包括路径
     */

    public static void put(String localDir, String hdfsFile) {

        // 1)获取配置信息
        Configuration conf = new Configuration();

        // 本地路径与HDFS路径
        Path localPath = new Path(localDir);
        Path hdfsPath = new Path(hdfsFile);

        try {

            // 获取本地文件系统
            FileSystem localFs = FileSystem.getLocal(conf);

            // 获取HDFS文件系统
            FileSystem hdfs = FileSystem.get(conf);

            // 本地文件系统中指定目录中的所有文件
            FileStatus[] status = localFs.listStatus(localPath);

            // 打开HDFS上文件的输出流
            FSDataOutputStream out = hdfs.create(hdfsPath);

            // 循环遍历本地文件
            for (FileStatus fileStatus : status) {

                // 获取文件
                Path path = fileStatus.getPath();

                System.out.println("文件为：" + path.getName());

                // 打开文件输入流
                FSDataInputStream in = localFs.open(path);

                // 进行流的读写操作
                byte[] buf = new byte[1024];
                int len = 0;
                while ((len = in.read(buf)) != -1) {
                    out.write(buf, 0, len);

                }
                in.close();
            }
            out.close();
        } catch (Exception e) {
            e.printStackTrace();
        }

    }

    public static void main(String[] args) {
        String localDir = "E:/java_workspace/Hadoop Project/测试putmerge";
        String hdfsFile = "hdfs://H01:9000/dataa/测试putmerge.txt";

        put(localDir, hdfsFile);
    }
}