HDFS 小文件处理——应用程序实现

最新推荐文章于 2024-10-01 18:51:18 发布

dianhuopao7502

最新推荐文章于 2024-10-01 18:51:18 发布

阅读量106

点赞数

文章标签： java 大数据

原文链接：http://www.cnblogs.com/hpuCode/p/5299129.html

版权

　　在真实环境中，处理日志的时候，会有很多小的碎文件，但是文件总量又是很大。普通的应用程序用来处理已经很麻烦了，或者说处理不了，这个时候需要对小文件进行一些特殊的处理——合并。

　　在这通过编写java应用程序实现文件的合并并上传到HDFS。整体的处理思路是，从本地加载琐碎的小文件并写到HDFS中。

package study.smallfile.javaapp;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.List;

import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class AppDemo {
    private static final String OUT_PATH = "hdfs://cluster1/smallfile/combined/app";
    private static final String LOCAL_PATH = "/root/logs";

    public void CombinedLocalFile() {
        FSDataOutputStream out = null;
        InputStreamReader reader = null;
        try {
            Configuration conf = new Configuration();
            Path local = new Path(OUT_PATH);
            out = FileSystem.get(conf).create(local);

            File dir = new File(LOCAL_PATH);
            for (File file : dir.listFiles()) {
                reader = new InputStreamReader(new FileInputStream(file),
                        "UTF-8");
                List<String> readLines = IOUtils.readLines(reader);
                for (String line : readLines) {

                    out.write(line.getBytes());
                    out.write("\n".getBytes());
                }
            }

            System.out.println("合并成功");
        } catch (Exception e) {
            e.printStackTrace();

        } finally {
            try {
                if (out != null)
                    out.close();
                if (reader != null)
                    reader.close();
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
    }
}