java csv大文本 批量导入及文件拆分

生成大文件进行测试

   /**
     * 创建大文件
     * @throws IOException
     */
    public static void createBigFile() throws IOException {
        File file = new File("F:\\data\\big_file");
        FileWriter fileWriter = new FileWriter(file);
        BufferedWriter bufferedWriter = new BufferedWriter(fileWriter);
        String str = "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa123,xxxxxxxxxxxxxxxxxx123";
        for (int i = 0; i < 10000000; i++) {
            bufferedWriter.write(str);
            bufferedWriter.newLine();
        }
        bufferedWriter.flush();
        bufferedWriter.close();
    }

分次批量导入CSV文件

分次持久化, 避免内存溢出
注意: List list = new ArrayList<>(1024); 可以改成自己的业务实体, 设置属性

   /**
     * 导入文件
     * @param filePath 读取的文件路径
     * @param size 读取多少条持久化一次
     */
    public void importFile(String filePath, Integer size) throws IOException, ParseException {
        InputStreamReader isr = new InputStreamReader(new FileInputStream(filePath), "UTF-8");
        BufferedReader br = new BufferedReader(isr,5*1024*1024);// 用5M的缓冲读取文本文件
        List<String> list = new ArrayList<>(1024);
        int count = 0;
        String line = null;
        //跳过标题
        String title = br.readLine();
        //读取文本
        while ((line = br.readLine()) != null) {
            //一行数据
            String[] arr = line.split(",");
            //组装实体数据
            list.add(arr[0]);
            if (list.size() >= size){
                count++;
                //调用批量插入
                //service.batchInsert(list);
                log.info("数据列表长度: " + list.size());
                log.info("持久化: " + count + "次");
                list.clear();//清空list, 释放引用对象, 避免内存溢出
            }
        }
        if (list.size() > 0){
            count++;
            //调用批量插入
            //service.batchInsert(list);
            log.info("数据列表长度: " + list.size());
            log.info("持久化最后一次: " + count);
            //list.clear();
        }
    }

文件拆分

注意: 此拆分不是等份的, 需要自己调整一下

思路

思路：给定带拆分数量，计算出每个文件的平均字节数，然后循环文件数进行每个文件的拆分。拆分第一个文件时，根据平均字节数往后取给定的大约行字节数的字节，然后循环字节判断是否为\r或者\n，如果字节为\r或者\n则代表到达行末尾，记录行尾字节位置。知道了开头字节位置与结束字节位置，就可以将此位置之间的数据生成子文件了。继续循环拆分下个文件，基于上个文件记录的结束字节位置继续计算当前文件的结束位置，直到到达拆分文件的数量或者大文件读取完毕。

   /**
     * 拆分大文件
     */
    public static void splitFile(String filePath, int fileCount) throws IOException {
        FileInputStream fis = new FileInputStream(filePath);
        FileChannel inputChannel = fis.getChannel();
        final long fileSize = inputChannel.size();
        long average = fileSize / fileCount;//平均值
        long bufferSize = 200; //缓存块大小，自行调整
        ByteBuffer byteBuffer = ByteBuffer.allocate(Integer.valueOf(bufferSize + "")); // 申请一个缓存区
        long startPosition = 0; //子文件开始位置
        long endPosition = average < bufferSize ? 0 : average - bufferSize;//子文件结束位置
        for (int i = 0; i < fileCount; i++) {
            if (i + 1 != fileCount) {
                int read = inputChannel.read(byteBuffer, endPosition);// 读取数据
                readW:
                while (read != -1) {
                    byteBuffer.flip();//切换读模式
                    byte[] array = byteBuffer.array();
                    for (int j = 0; j < array.length; j++) {
                        byte b = array[j];
                        if (b == 10 || b == 13) { //判断\n\r
                            endPosition += j;
                            break readW;
                        }
                    }
                    endPosition += bufferSize;
                    byteBuffer.clear(); //重置缓存块指针
                    read = inputChannel.read(byteBuffer, endPosition);
                }
            }else{
                endPosition = fileSize; //最后一个文件直接指向文件末尾
            }

            FileOutputStream fos = new FileOutputStream(filePath + (i + 1));
            FileChannel outputChannel = fos.getChannel();
            inputChannel.transferTo(startPosition, endPosition - startPosition, outputChannel);//通道传输文件数据
            outputChannel.close();
            fos.close();
            startPosition = endPosition + 1;
            endPosition += average;
        }
        inputChannel.close();
        fis.close();
    }

测试方法

//    public static void main(String[] args) throws Exception {
//        Scanner scanner = new Scanner(System.in);
//        scanner.nextLine();
//        long startTime = System.currentTimeMillis();
//        splitFile("F:\\data\\big_file",5);
//        long endTime = System.currentTimeMillis();
//        System.out.println("耗费时间： " + (endTime - startTime) + " ms");
//        scanner.nextLine();
//    }

    public static void main(String[] args) throws IOException {
        createBigFile();
    }

参考链接: https://blog.csdn.net/u013632755/article/details/80467324 感谢作者