文件导入导出

Mrs_DongDong

于 2023-04-19 14:32:50 发布

阅读量573

点赞数

文章标签： java IO 后端工具

本文链接：https://blog.csdn.net/Mrs_DongDong/article/details/130243430

版权

文件导出

当涉及到大文件导入和导出时，使用高效的代码非常重要，以避免出现内存溢出等问题。下面是两个高效的大文件导入导出的代码案例。

大文件导入

在导入大文件时，通常可以采用逐行读取数据的方式，以避免将整个文件读入内存而导致内存溢出。以下是一个使用BufferedReader逐行读取文件的例子：

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class LargeFileImport {
    public static void main(String[] args) throws IOException {
        BufferedReader reader = new BufferedReader(new FileReader("largefile.csv"));
        String line;
        while ((line = reader.readLine()) != null) {
            // 处理每一行数据
            System.out.println(line);
        }
        reader.close();
    }
}

在上面的代码中，我们使用了BufferedReader类，它可以逐行读取文件。我们可以在while循环中，处理每一行读取到的数据。

大文件导出

在导出大文件时，通常可以采用分段写入文件的方式，以避免将整个数据集一次性写入文件而导致内存溢出。以下是一个使用BufferedWriter分段写入文件的例子：

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;

public class LargeFileExport {
    public static void main(String[] args) throws IOException {
        BufferedWriter writer = new BufferedWriter(new FileWriter("largefile.csv"));
        // 分批写入数据，每批10000条数据
        for (int i = 0; i < 1000000; i++) {
            String data = "data" + i + ", " + "data" + (i+1) + ", " + "data" + (i+2) + "\n";
            writer.write(data);
            if (i % 10000 == 0) {
                writer.flush(); // 每10000条数据，强制写入文件
            }
        }
        writer.close();
    }
}

在上面的代码中，我们使用了BufferedWriter类，它可以分段写入文件。我们可以将大数据集分批写入文件，每批写入10000条数据，写入后使用flush()方法强制将数据写入文件，以减少内存的使用。

防止乱码

固定格式编码

以下是一个简单的 Java 代码示例，演示如何将文本导出为 CSV 文件，并指定编码格式，以避免乱码问题：

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.nio.charset.StandardCharsets;

public class CsvExporter {
    public static void main(String[] args) throws IOException {
        // 模拟要导出的文本数据
        String text = "姓名,年龄,性别\n张三,20,男\n李四,22,女\n王五,25,男";

        // 指定导出文件的路径和文件名
        File file = new File("D:/data.csv");

        // 指定导出文件的编码格式
        String charset = "UTF-8";

        // 创建输出流和缓冲区
        FileOutputStream fos = new FileOutputStream(file);
        OutputStreamWriter osw = new OutputStreamWriter(fos, StandardCharsets.UTF_8);
        BufferedWriter bw = new BufferedWriter(osw);

        // 将文本写入 CSV 文件
        bw.write(text);

        // 关闭输出流和缓冲区
        bw.flush();
        bw.close();
        osw.close();
        fos.close();

        // 输出导出成功的信息
        System.out.println("导出成功！");
    }
}

首先模拟了要导出的文本数据，然后指定了导出文件的路径和文件名，并创建了输出流和缓冲区。接着将文本写入 CSV 文件，并在完成后关闭输出流和缓冲区。最后输出导出成功的信息。

大文件分批导出并且指定编码格式

大文件分批导出可以通过分页或者流式导出的方式来实现，具体实现方法如下：

1.分页导出

分页导出是将大文件分成多个小文件，每个小文件包含一定量的数据，从而避免一次性导出大文件造成的内存瓶颈。具体实现步骤如下：

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.List;

public class CsvExporter {
    public static void main(String[] args) throws IOException {
        // 模拟要导出的文本数据
        List<String> data = new ArrayList<>();
        for (int i = 1; i <= 10000; i++) {
            data.add("数据" + i);
        }

        // 指定每页数据量
        int pageSize = 1000;

        // 指定导出文件的路径和文件名
        File file = new File("D:/data.csv");

        // 指定导出文件的编码格式
        String charset = "UTF-8";

        // 计算总页数
        int pageCount = (int) Math.ceil((double) data.size() / pageSize);

        // 循环导出每一页数据
        for (int pageIndex = 1; pageIndex <= pageCount; pageIndex++) {
            // 计算当前页的起始位置和结束位置
            int startIndex = (pageIndex - 1) * pageSize;
            int endIndex = Math.min(pageIndex * pageSize, data.size());

            // 创建输出流和缓冲区
            FileOutputStream fos = new FileOutputStream(file);
            OutputStreamWriter osw = new OutputStreamWriter(fos, StandardCharsets.UTF_8);
            BufferedWriter bw = new BufferedWriter(osw);

            // 将当前页的数据写入 CSV 文件
            for (int i = startIndex; i < endIndex; i++) {
                String row = data.get(i) + "\n";
                bw.write(row);
            }

            // 关闭输出流和缓冲区
            bw.flush();
            bw.close();
            osw.close();
            fos.close();
        }

        // 输出导出成功的信息
        System.out.println("导出成功！");
    }
}

以上示例中，首先模拟了要导出的数据，然后指定了每页数据量、导出文件的路径和文件名以及导出文件的编码格式。接着计算总页数，循环导出每一页数据。在循环中，根据当前页的起始位置和结束位置，将当前页的数据写入 CSV 文件，并在完成后关闭输出流和缓冲区。最后输出导出成功的信息。

2.流式导出

流式导出是将大文件按照一定的规则分成多个小文件，每个小文件依次导出。具体实现步骤如下：

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.List;

public class CsvExporter {
    public static void main(String[] args) throws IOException {
        // 模拟要导出的文本数据
        List<String> data = new ArrayList<>();
        for (int i = 1; i <= 10000; i++) {
            data.add("数据" + i);
        }

        // 指定导出文件的路径和文件名
        File file = new File("D:/data.csv");

        // 指定导出文件的编码格式
        String charset = "UTF-8";

        // 指定每次读取的数据量
        int bufferSize = 1000;

        // 创建输出流和缓冲区
        FileOutputStream fos = new FileOutputStream(file);
        OutputStreamWriter osw = new OutputStreamWriter(fos, StandardCharsets.UTF_8);
        BufferedWriter bw = new BufferedWriter(osw);

        // 循环读取数据，将数据写入 CSV 文件
        for (int i = 0; i < data.size(); i++) {
            String row = data.get(i) + "\n";
            bw.write(row);

            // 每次读取一定量的数据后，将数据写入 CSV 文件并清空缓冲区
            if ((i + 1) % bufferSize == 0) {
                bw.flush();
            }
        }

        // 关闭输出流和缓冲区
        bw.flush();
        bw.close();
        osw.close();
        fos.close();

        // 输出导出成功的信息
        System.out.println("导出成功！");
    }
}