Java线程池多线程查询数据库提高查询效率

最新推荐文章于 2024-07-25 16:05:51 发布
最新推荐文章于 2024-07-25 16:05:51 发布
阅读量1.8k 收藏 4
点赞数 2
分类专栏： 面试 学习路线阿里巴巴 文章标签： android 前端 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67402013/article/details/126072761
版权

Java线程池多线程查询数据库提高查询效率

需求

公司数据统计报表查询，几张大表关联查询，包含跨库查询，数据联查，数据过滤，数据统计。

问题

主表数据1

主表数据2

…

统计数据1

统计数据2

…

数据

数据

数据

数据

报表结构是主表数据+统计数据，只查主表数据速度很快，统计数据需要跨库联查，且表数据量大，拖慢了速度。
一开始的做法是，每次分页请求都先获取主表list，再foreach主表list，根据主表字段去查询统计数据并进行计算，再合并到主表进行返回，查询速度不理想。
分页查响应时间=1次主表查询时间+10次统计数据查询时间

思路

复杂的报表数据统计不应全部由DB层面去解决，而是SQL仅负责数据过滤，返回统计所需的字段，SQL尽量简

最低0.47元/天 解锁文章
m0_67402013
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java多线程分页查询数据库_java使用多线程查询大批量数据
weixin_30666313的博客
02-24 7163
前言在某些时候，一旦单表数据量过大，查询数据的时候就会变得异常卡顿，虽然在大多数情况下并不需要查询所有的数据，而是通过分页或缓存的形式去减少或者避免这个问题，但是仍然存在需要这样的场景，比如需要导出一大批数据到excel中，导出数据之前，首先得把数据查询出来吧？这个查询的过程，数据量一旦过大，单线程查询数据将会成为瓶颈，下面尝试使用多线程来尝试查询一张数据量较大的表由于代码逻辑不是很难，直接上代码...
java多线程查询数据库
12-04
本文将详细探讨如何利用Java的多线程技术和线程池来实现并发查询数据库，以及相关的文件`BatchDataUtil.java`和`BatchDataRunnable.java`可能涉及的关键知识点。 ### 1. 多线程并发查询 多线程并发查询允许我们将一...
JAVA使用线程池查询大批量数据
05-09
JAVA使用线程池查询大批量数据
多线程同时查询，等待最慢线程查询完成后汇总数据
java全栈工程师
11-22 1148
CompletableFuture 多线程同步查询数据库
java 提高数据库查询效率的方法
mili_java的博客
05-28 329
java 提高数据库查询效率的方法
多线程查询数据库
weixin_47684689的博客
03-19 7412
多线程查询数据库 项目中遇到了需要一次性查询大量数据的情况，于是想到了使用多线程并发查询，顺便记录一下。 原理是多个线程进行分页查询再将查询结果合并取出。 一、公共接口 public interface BaseService<T> { T template(); } 二、模板方法 public interface BaseThreadServiceTemplate<T> { // index为查询索引, num为查询记录数 List<T> getLis
java查询数据库百万条数据，优化之：多线程+数据库
m0_57647880的博客
06-06 9059
使用Spring boot在20秒内取完Mysql100万条数据 每次需要从数据库中查询100万条数据进行分析，不能用分页，请问怎么优化sql或者java代码呢？？ 普通查询需要5分多分钟才查询完毕，所以我们用索引加多线程来实现。
SpringBoot多线程 并行查询接口，并将结果合并返回
weixin_45399695的博客
05-31 6248
多线程并行运行接口并将结果合并返回(调整代码运行速率)
Java 使用线程池提高查询速度
weixin_44258947的博客
03-24 586
1、自定义线程池 2、使用CompletableFuture提交任务，带返回值 3、使用CompletableFuture.join()方法获取返回结果 4、结束，这是开启一个线程的查询，如果业务查询多个数据库可开启多个线程
java开启多线程同时查询数据库（线程池+redis缓存优化）
qq_44772660的博客
01-05 8695
java多线程查询数据库（线程池） 需求介绍： 调用接口后一个页面要展示两个列表，而且数据量很大。 分析： 如果按原始方法进行两次查询再将结果返回当然也是可以的。但是查询时间就是两个查询的和，数据量很小的话推荐此方法。但如果数据量很大，正常情况下SELECT * 的时间很长，而且还是两张表，整体的接口执行时间就很慢，很影响用户体验。所以我们必须进行优化，所以想到用多线程来进行查询，同时开启两个线程来查询数据库，最后时间就很快了。再加上整个列表会进行分页，大数据量的情况下会有很多页数据。由于后面的数据很少会去
java多线程查询数据库（分段查询）
热门推荐
weixin_40052298的博客
03-08 1万+
根据数据集合的大小，所开线程的数量，计算每个线程需要执行查询的数据量。 计算出SQL语句中每个查询的起始位置和结束位置下标。 每个线程，查询各自的范围内的数据。 public void queryByThread() { // 数据集合大小，由调用者自己指定 int listSize = 100; // 开启的线程数 int runSize = 20; // 一个线程处理数据条数，如果库中有100条数据，开启20个线程.
java多线程处理数据库数据
09-21
因此，使用多线程可以将任务分解，让每个线程处理一部分数据，从而提高效率。 为了实现这个目标，我们可以使用`ExecutorService`来创建一个线程池。例如，我们可以创建一个固定大小的线程池，这样可以限制同时运行...
基于java线程池读取单个SQL数据库表
08-25
基于Java线程池读取单个SQL数据库表 Java线程池是Java并发编程中...使用Java线程池读取单个SQL数据库表可以提高程序的执行效率和性能。通过创建线程池并将任务提交给线程池执行，可以大大提高数据库读取和写入的效率。
Java多线程批量数据导入的方法详解
08-25
3. 使用线程池可以实现多线程批量数据导入，提高数据导入的速度和效率。 4. 在模拟服务中，定义了读取数据和写入数据的接口，可以模拟数据的读取和写入过程。 5. 在批量数据处理器中，使用线程池来调用模拟服务的...
Java多线程案例之线程池
trong_ 的烂笔头
01-30 5451
介绍线程池的原理和简单实现, 进一步提高并发编程的效率.
47、PHP实现机器人的运动范围
weixin_44010641的博客
07-24 840
地上有一个m行和n列的方格。一个机器人从坐标0,0的格子开始移动，每一次只能向左，右，上，下四个方向移动一格，但是不能进入行坐标和列坐标的数位之和大于k的格子。但是，它不能进入方格（35,38），因为3+5+3+8 = 19。请问该机器人能够达到多少个格子？当k为18时，机器人能够进入方格（35,37），因为3+5+3+7 = 18。
【Android】广播机制
2301_79977698的博客
07-24 805
在Android中，广播（Broadcast）是一种消息，任何应用程序都可以发送广播消息，任何应用程序也都可以接收广播消息。广播通常用于通知应用程序某些事件的发生，比如系统启动、电量低、网络状态改变等。Broadcast Receiver（广播接收器）：用于接收广播消息并响应这些消息的组件。Intent（意图）：用于传递广播消息的数据结构。标准广播（Normal Broadcast）是完全异步的，所有接收器几乎同时接收广播，并且接收顺序是不确定的。
Android笔试面试题AI答之Android系统与综合类（1）
最新发布
学无止境，止于至善
07-25 893
答案仅供参考，来着文心一言、Kimi.ai。
java使用多线程查询数据库
08-17
总结起来，使用多线程查询数据库可以提高查询效率，特别是对于大量数据的查询。通过合理地分配线程和利用线程池，可以实现并发查询并提高系统的响应速度。<span class="em">1</span><span class="em">2</span><span ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值