循环分批从数据库获取数据

最新推荐文章于 2024-07-15 03:50:01 发布

爱锅巴

最新推荐文章于 2024-07-15 03:50:01 发布

阅读量1.9k

点赞数

分类专栏： mysql Java

本文链接：https://blog.csdn.net/aiguoba/article/details/127890935

版权

数据库查询内存溢出分批处理批量查询 Java编程

关键词由CSDN通过智能技术生成

Java 同时被 2 个专栏收录

13 篇文章 1 订阅

订阅专栏

mysql

7 篇文章 0 订阅

订阅专栏

模拟根据查询出的总数循环分批从数据库获取数据

很多时候我们并不能在jvm存住一个多达一两万元素的List，如果单个元素过大不加以控制，有可能会造成内存溢出，所以需要分批查询数据

public static void main(String[] args) {
    //事先查出的总数
    int totalNum = 13031;
    //每次拿取数量
    int preNum = 1000;
    //循环过的数量
    int passNum = 0;
    do {
        System.out.println("select * from a limit " + passNum + "," + preNum);
        passNum += preNum;
    } while (passNum < totalNum);
}

打印结果，每次只拿取1000条数据，保证程序中不会出现太大的数组导致内存溢出

select * from a limit 0,1000;
select * from a limit 1000,1000;
select * from a limit 2000,1000;
select * from a limit 3000,1000;
select * from a limit 4000,1000;
select * from a limit 5000,1000;
select * from a limit 6000,1000;
select * from a limit 7000,1000;
select * from a limit 8000,1000;
select * from a limit 9000,1000;
select * from a limit 10000,1000;
select * from a limit 11000,1000;
select * from a limit 12000,1000;
select * from a limit 13000,1000;