记一次生成一亿条测试数据

最新推荐文章于 2024-02-29 17:03:42 发布

「已注销」

最新推荐文章于 2024-02-29 17:03:42 发布

阅读量622

点赞数 1

文章标签： java stackOverflowError 写入海量测试文本数据递归和循环的时间复杂度思考 BufferedWriter

本文链接：https://blog.csdn.net/qq_37023122/article/details/101693896

版权

本文记录了一次生成一亿条测试数据的经历，从遇到的StackOverflowError问题，到通过优化递归和使用循环大幅减少时间，最终将生成时间从10分钟降低到16秒。文章强调了时间复杂度在提高代码效率中的重要性，并提出了多线程分段写入和优化Java递归的思考。

摘要由CSDN通过智能技术生成

本文主要会讲解生成过程中遇到的以下问题

生成数据过程中导致 java.lang.StackOverflowError
生成一亿条数据从十分钟到二十秒的改进

今天接到一个数据组同事的求助，需要至少一亿条数据来测试数据库性能问题。格式只要字段间有空格隔开即可，对文本格式没有要求。

简单思考了一下，Java生成这一亿条数据所准备的工作：

设计数据文本格式：clazz + 空格 + name + 空格 + value
写数据尽可能减少IO操作，减少不比较的开销，所以选择按阶段flush进文本。
抽离数据组装方法，初步考虑使用递归来实现。

说干就干，想好了就开始动手操作。

static String newLine = "\r\n";// windows下换行符号
 static StringBuffer sbrNew = new StringBuffer(1000000);// 创建sbrNew
static int count = 1;
public static void main(String[] args) throws Exception{
   
        long startTime = System.currentTimeMillis();
        System.err.println("开始时间：" + startTime);
        // 1. 创建文本所在目录，建议提前建好 D:\\test_data
        File file = new File("D:\\test_data\\data_new.txt");
        // 2. 获取该文件的缓冲输出流
        BufferedWriter bufferedWriter = new BufferedWriter(new FileWriter(file))