java list 分批查询_JAVA LIST分批处理

这是第N次在项目中遇到需要将数据分批处理的情况了。以前在用jdbcTemplate插入数据时,遇到过,当时花了好几分钟进行了分批处理,用LIST的SUBLIST方法进行了分批。此算法比较简单,但想起来,也得花个分把钟,在时间紧急的情况下,还是"拿来主义"比较方便点。现在把它贴出来,存在这,供以后用到时方便查询

代码如下:

import java.util.ArrayList;

import java.util.List;

public class Test {

public static void main(String[] args) {

doTest();

}

private static void doTest() {

List dataList = new ArrayList<>();

dataList.add("11");

dataList.add("22");

dataList.add("33");

dataList.add("44");

dataList.add("55");

dataList.add("66");

dataList.add("77");

dataList.add("88");

dataList.add("99");

listExcute(dataList);

}

private static void listExcute(List dataList) {

if (null != dataList && dataList.size() > 0) {

int pointsDataLimit = 2;//限制条数,【修改这里】

Integer size = dataList.size();

if (pointsDataLimit < size) {//判断是否有必要分批

int part = size / pointsDataLimit;//分批数

System.out.println("共有 : " + size + "条,!" + " 分为 :" + part + "批");

for (int i = 0; i < part; i++) {

List listPage = dataList.subList(0, pointsDataLimit);

System.out.println("第" + (i + 1) + "次,执行处理:" + listPage);

dataList.subList(0, pointsDataLimit).clear();

}

if (!dataList.isEmpty()) {

System.out.println("最后一批数据,执行处理:" + dataList);//表示最后剩下的数据

}

} else {

System.out.println("不需要分批,执行处理:" + dataList);

}

} else {

System.out.println("没有数据!!!");

}

}

}

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java中,我们可以使用分批查询来处理大量数据的查询操作,以提高查询效率和减少内存占用。下面是一个简单的实现步骤: 1. 定义每批次查询的数据量大小,例如每次查询1000条数据。 2. 使用查询语句(如MySQL的LIMIT语句)来获取指定批次的数据,例如查询第1批次的数据可以使用"SELECT * FROM table LIMIT 0,1000",查询第2批次的数据可以使用"SELECT * FROM table LIMIT 1000,1000",以此类推。 3. 针对每批次查询的数据进行业务处理,例如计算、统计、导出等。 4. 重复执行步骤2和3,直到所有数据都被处理完毕。 示例代码如下: ``` // 定义每批次查询的数据量 int batchSize = 1000; // 定义查询语句 String sql = "SELECT * FROM table LIMIT ?,?"; // 定义数据偏移量 int offset = 0; // 定义查询结果集 List<Data> dataList = new ArrayList<>(); // 执行分批查询 while (true) { // 执行查询 List<Data> batchList = queryData(sql, offset, batchSize); // 如果查询结果为空,则退出循环 if (batchList.isEmpty()) { break; } // 处理查询结果 for (Data data : batchList) { // 进行业务处理 processData(data); // 将数据添加到结果集中 dataList.add(data); } // 更新数据偏移量 offset += batchSize; } // 处理所有数据的业务逻辑 processAllData(dataList); ``` 其中,queryData()方法可以使用JDBC或ORM框架进行实现,具体实现方式可以根据具体情况而定。processData()方法和processAllData()方法需要根据业务需求进行实现。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值