百万条数据如何进行分页查询

今天面试被问到一张表 有500w条数据,如何进行分页查询,瞬间不知道怎么回答,平时工作中没接触到这么大的数据量。

所以回家自己去实验一下:

创建一张user表

CREATE TABLE `user` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `username` varchar(100) DEFAULT NULL COMMENT '用户名',
  `password` varchar(100) DEFAULT NULL COMMENT '密码',
  `name` varchar(100) DEFAULT NULL COMMENT '姓名',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1862452 DEFAULT CHARSET=utf8;

接着我们给他添一点数据:

BEGIN

    DECLARE i INT DEFAULT 1;

    WHILE i<=1000000 DO

        INSERT INTO user(username,password,name) VALUES(CONCAT(i,'老李'),'2222','老李');

        SET i = i+1;

    END WHILE;

END $

CALL proc_initData();

我添加了100w条数据我的电脑比较差用了十几分钟,当然你也可以选择不建主键,这样添加的话速度会快很多(主键会建主键索引)。

现在我们来开始测试查询:

使用传统的

select * from user LIMIT 800000,20

ok现在看一下sql的执行过程:

全表扫描 不走索引的

将sql改造一下使用子查询

select * FROM user where id >= (select id from user LIMIT 800000,1) LIMIT 20

效果很明显ok 速度提升了好4倍多

ok我们现在看看  执行sql过程:

很明显走了索引  子查询走了全表索引扫描index 主sql走的是range

当然这个还有另外一张写法

select * FROM user a
join
(select id from user LIMIT 800000,20) b
on a.id=b.id

效率和上面的差不多

ok现在做个简单的改造

select * FROM user where id >= 800000 LIMIT 20

这个效率提高了很多

range单个索引

 

 

 

 

 

 

 

 

 

 

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!对于查询数据库中百万条数据的情况,使用多线程和数据分页查询是一种常见的优化策略。下面是一个基本的实现思路: 1. 多线程处理:将数据查询任务分配给多个线程并行执行,提高查询效率。可以使用Java的线程池来管理线程,例如使用`ExecutorService`和`Callable`接口。 2. 数据分页查询:通过分页查询的方式减少单次查询的数据量,避免一次性查询大量数据导致性能问题。可以使用SQL语句中的`LIMIT`子句来实现分页查询,例如`SELECT * FROM table_name LIMIT offset, limit`,其中`offset`表示偏移量,`limit`表示每页查询的数据量。 下面是一个简单的示例代码: ```java import java.sql.*; import java.util.concurrent.*; public class DatabaseQuery { private static final int PAGE_SIZE = 100; // 每页查询的数据量 public static void main(String[] args) { ExecutorService threadPool = Executors.newFixedThreadPool(10); // 创建线程池 Connection connection = null; try { connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/database_name", "username", "password"); int totalRows = getTotalRows(connection); // 获取数据总行数 int totalPages = (int) Math.ceil((double) totalRows / PAGE_SIZE); // 计算总页数 for (int page = 0; page < totalPages; page++) { int offset = page * PAGE_SIZE; threadPool.submit(new QueryTask(connection, offset)); } } catch (SQLException e) { e.printStackTrace(); } finally { if (connection != null) { try { connection.close(); } catch (SQLException e) { e.printStackTrace(); } } threadPool.shutdown(); } } private static int getTotalRows(Connection connection) throws SQLException { try (Statement statement = connection.createStatement(); ResultSet resultSet = statement.executeQuery("SELECT COUNT(*) FROM table_name")) { resultSet.next(); return resultSet.getInt(1); } } private static class QueryTask implements Callable<Void> { private Connection connection; private int offset; public QueryTask(Connection connection, int offset) { this.connection = connection; this.offset = offset; } @Override public Void call() throws Exception { try (PreparedStatement statement = connection.prepareStatement("SELECT * FROM table_name LIMIT ?, ?")) { statement.setInt(1, offset); statement.setInt(2, PAGE_SIZE); ResultSet resultSet = statement.executeQuery(); // 处理查询结果 while (resultSet.next()) { // 处理每条数据 // ... } resultSet.close(); } return null; } } } ``` 以上示例代码仅供参考,具体的实现需要根据实际情况进行调整和优化。同时,请确保在使用多线程和数据库查询时遵循相关的线程安全和数据库事务处理的规范。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值