java按行读取文件的工具类

由于工作的需求，经常要用到按行去读去文件（文件数据动不动就是上亿，直接读取也是不现实的，肯定会oom），然后把读到的行进行一个特殊的处理。导致按行读取的代码 在项目中到处都是。关键用到的时候，还不知道之前的按行读怎么实现的，不用的时候，到处都是，看吐了。用的时候，死活找不到，气死了。

于是将这个对我来说常用的需求抽取成了一个工具类，使用起来非常方便。希望能帮到用到的人。大家有好点建议，也可以在下边留言。

按行读，并做特殊化业务的处理，这个工具网上我是没有看到过的，包括hutool中，也是没有的。

下边看看具体的实现。

## 工具类，按行读去的代码

 在调用的时候，需要传入一个处理逻辑的执行单元。也就是说，你在拿到一行以后具体想干什么。例如，我想拿到一样文件内容，然后转json，然后存到数据库。

package com.angus.pull.utils;

import java.io.*;
import java.util.List;

/**
 * @author angus
 * @date 2021/1/21 14:46
 */
public class ReadFileByLineUtil {
    public interface TaskUnitContent {
        /**
         * 任务执行单元
         * @param line 从文件中读到的一行内容
         */
        void taskContent(String line);
    }
    /**
     * 实现
     * @param taskUnitContent 执行单元，
     * @param filePathList 需要处理的文件的路径，文件路径存放在list里边。
     * @throws IOException
     */
    public static void ReadFileByLine(TaskUnitContent taskUnitContent,  List<String> filePathList) throws IOException {
        Long startTime = System.currentTimeMillis();

        for (Object path:filePathList) {
            FileInputStream fis= null;
            try {
                fis = new FileInputStream(String.valueOf(path));
            } catch (FileNotFoundException e) {
                e.printStackTrace();
            }
            InputStreamReader isr= null;
            try {
                isr = new InputStreamReader(fis, "UTF-8");
            } catch (UnsupportedEncodingException e) {
                e.printStackTrace();
            }
            BufferedReader br = new BufferedReader(isr);
            String line = "";
            while ((line = br.readLine()) != null) {
                //读到的行，交给处理单元去处理，处理单元是由用户实现的。
                try {
                    taskUnitContent.taskContent(line);
                }catch (Exception e){
                    e.printStackTrace();
                }
            }
            System.out.println("本次按行读文件总耗时（单位秒）：" + (System.currentTimeMillis() - startTime)/1000);
            br.close();
            isr.close();
            fis.close();
        }
    }


}

 

## 如果使用这个工具类 

  不写内容了，直接看注释吧，白送了一个获取一个文件夹下包括子目录内所有的文件的工具方法。

package com.angus.pull;

import ccom.angus.pull.utils.ReadFileByLineUtil;
import java.io.*;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

/**
 * @author angus
 * @date 2020/8/25 14:56
 */
public class ReadingDemo {
    public static void main(String[] args) throws IOException {
        //想要获取文件的指定的文件夹
        File file = new File("C:\\Users\\iamazy\\Desktop\\demo");
        //定义一个文件list，传给下边的工具方法，工具方法会在这个list里边存上边指定文件夹下的符合条件的文件。
        List<File> fileList = new ArrayList<>();
        // 获取所有文件的路径
        List<String> filePathList = new ArrayList<>();
        //递归获取一个文件夹下所有的以.json为后缀的文件。
        func(file, fileList, filePathList);
        //调用工具类，按行读去文件，并使用lamda表达式，定义执行单元。
        ReadFileByLineUtil.ReadFileByLine(line -> {
            //我这里只是简单的把读到的文件的行，进行打印。大家可以在这里定义自己的处理逻辑。
            System.out.println(line);
        //下边我是直接传入了一个想要读取的文件，这里是一个list，如果大家想要读取多个文件，则可以直接添加。如果有需求获取一个文件夹下所有的文件，文件又比较多。就可以使用我上边调用的func（）方法。把获取到的文件列表放到下边，使用filePathList 替换Arrays.asLis（）这个方法。
        }, Arrays.asList("C:\\Users\\iamazy\\Desktop\\test.txt"));
    }

    /**
     * 这个也是一个工具类，有时候我们想要获取一个目录下，全部包含子目录内所有的指定后缀的文件
     */
    private static void func(File file, List<File> fileList, List<String> filePathList) {
        File[] fs = file.listFiles();
        for (File f : fs) {
            //若是目录，则递归打印该目录下的文件
            if (f.isDirectory()){
                func(f, fileList, filePathList);
            }
            if (f.isFile()){
                //若是文件，直接打印，我这里是只获取.josn后缀的文件。可以自己定义。
                if(f.getName().contains("json")){
                    fileList.add(f);
                    filePathList.add(f.getPath());
                }
            }
        }
    }
}

 

ps~ 大家看了多提提意见，不胜感激。可以直接在下边留言，我每天都会看博客的。