java多线程查询_java使用多线程及分页查询数据量很大的数据

调用方法: import org.springframework.beans.factory.annotation.Autowired; import java.util.ArrayList; import java.util.List; import java.util.Map; import java.util.concurrent.Callable; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.Future; public class QueryTest { @Autowired Object myService; public List> getMaxResult(String sex) throws Exception{ long start = System.currentTimeMillis(); List> result=new ArrayList<>();//返回结果 int count = 20000005;//mydao.getCount(); 通过count查到数据总量 int num = 10000;//每次查询的条数 //需要查询的次数 int times=count / num; if(count!=0) { times=times+1; } //开始查询的行数 int bindex = 0; List>>> tasks = new ArrayList>>>();//添加任务 for(int i = 0; i >> qfe = new ThredQuery(myService,sex,bindex, num); tasks.add(qfe); bindex=bindex+num; } //定义固定长度的线程池 防止线程过多 ExecutorService execservice = Executors.newFixedThreadPool(15); List>>> futures = execservice.invokeAll(tasks); // 处理线程返回结果 if (futures != null && futures.size() > 0) { for(Future>> future : futures) { result.addAll(future.get()); } } execservice.shutdown(); // 关闭线程池 long end = System.currentTimeMillis(); System.out.println("用时"+(start-end)); return result; } }

线程类: import java.util.ArrayList; import java.util.List; import java.util.Map; import java.util.concurrent.Callable; public class ThredQuery implements Callable>> { private Object myService;//需要通过够早方法把对应的业务service传进来 实际用的时候把类型变为对应的类型 private String sex;//查询条件 根据条件来定义该类的属性 private int bindex;//分页index private int num;//数量 /** * 重新构造方法 * @param myService * @param sex * @param bindex * @param num */ public ThredQuery(Object myService,String sex,int bindex,int num){ this.myService=myService; this.sex=sex; this.bindex=bindex; this.num=num; } @Override public List> call() throws Exception { //通过service查询得到对应结果 List> list =new ArrayList<>(); //myService.queryBySex(sex,bindex,num); return list; } }

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!对于查询数据库中百万条数据的情况,使用多线程数据分页查询是一种常见的优化策略。下面是一个基本的实现思路: 1. 多线程处理:将数据查询任务分配给多个线程并行执行,提高查询效率。可以使用Java的线程池来管理线程,例如使用`ExecutorService`和`Callable`接口。 2. 数据分页查询:通过分页查询的方式减少单次查询数据量,避免一次性查询大量数据导致性能问题。可以使用SQL语句中的`LIMIT`子句来实现分页查询,例如`SELECT * FROM table_name LIMIT offset, limit`,其中`offset`表示偏移量,`limit`表示每页查询数据量。 下面是一个简单的示例代码: ```java import java.sql.*; import java.util.concurrent.*; public class DatabaseQuery { private static final int PAGE_SIZE = 100; // 每页查询数据量 public static void main(String[] args) { ExecutorService threadPool = Executors.newFixedThreadPool(10); // 创建线程池 Connection connection = null; try { connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/database_name", "username", "password"); int totalRows = getTotalRows(connection); // 获取数据总行数 int totalPages = (int) Math.ceil((double) totalRows / PAGE_SIZE); // 计算总页数 for (int page = 0; page < totalPages; page++) { int offset = page * PAGE_SIZE; threadPool.submit(new QueryTask(connection, offset)); } } catch (SQLException e) { e.printStackTrace(); } finally { if (connection != null) { try { connection.close(); } catch (SQLException e) { e.printStackTrace(); } } threadPool.shutdown(); } } private static int getTotalRows(Connection connection) throws SQLException { try (Statement statement = connection.createStatement(); ResultSet resultSet = statement.executeQuery("SELECT COUNT(*) FROM table_name")) { resultSet.next(); return resultSet.getInt(1); } } private static class QueryTask implements Callable<Void> { private Connection connection; private int offset; public QueryTask(Connection connection, int offset) { this.connection = connection; this.offset = offset; } @Override public Void call() throws Exception { try (PreparedStatement statement = connection.prepareStatement("SELECT * FROM table_name LIMIT ?, ?")) { statement.setInt(1, offset); statement.setInt(2, PAGE_SIZE); ResultSet resultSet = statement.executeQuery(); // 处理查询结果 while (resultSet.next()) { // 处理每条数据 // ... } resultSet.close(); } return null; } } } ``` 以上示例代码仅供参考,具体的实现需要根据实际情况进行调整和优化。同时,请确保在使用多线程数据查询时遵循相关的线程安全和数据库事务处理的规范。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值