基于CompletableFuture+多线程+内存分页实现的批量查询技巧

最新推荐文章于 2024-06-18 12:20:56 发布
最新推荐文章于 2024-06-18 12:20:56 发布
阅读量4.6k 收藏 31
点赞数 3
分类专栏： Java Java8 Classic blog 文章标签： 性能优化 异步编程 实践经验 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chivydrs/article/details/115249277
版权
本文介绍了如何使用CompletableFuture、多线程和内存分页来优化批量查询操作。首先，通过创建专用线程池处理批量导出任务。接着，获取总记录数判断是否需要批量处理，如果需要则采用分批异步查询。最后，收集并处理所有异步返回的数据，提高程序性能。
摘要由CSDN通过智能技术生成

背景 

在实际工作中，往往会有批量查询或批量导出这样的需求，但是如果数据量很大，就不能简单的使用 in 查询来解决问题。常见的优化思路是分批处理（分而治之），今天我就来讲一下，基于CompletableFuture+多线程+内存分页实现的批量查询技巧。

 实现思路

  • 定义一个线程池，专门用来处理批量导出业务，和其它业务隔离。
  • 先获取需要处理的总记录数，判断是否需要批量处理，如果不需要，则直接返回，如果需要则进行批量异步处理，批量处理过程中会使用到自定义的线程池。
  • 统一收集异步返回的数据，进行下一步处理即可。
  • 完毕

原料

  • ThreadPoolTaskExecutor
  • CompletableFutrue

实现细节

定义用于批处理的线程池 ThreadPoolTaskExecutor，也可以用 Java 原生自带的线程池 Executors

/**
 * Spring 线程池配置组件
 *
 * @Author Zack
 */
@Configuration
@Ena
最低0.47元/天 解锁文章
HiiZack
关注
  • 3
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
CompletableFutures使用
知识改变命运，ヾ(◍°∇°◍)ﾉﾞ【求关注】
03-27 190
这些查询接口包括单个对象查询、列表查询和分页查询等方法的 实现，因为是接口调用，查询的结果最终都是以Json结构的方式返回 文本数据的。为了更好地配合客户端高并发的非阻塞异步编程方式的 调用，这里同样使用了这种编程方式来实现高并发的调用。 ...
java8_CompletableFuture_异步执行多个任务
热门推荐
独行侠梦的博客
12-05 2万+
前言 CompletableFuture是java8提供的基于异步操作的封装，日常开发中怎能不用上一番呢。 1)聚合多个异步任务 需求：多个tab页包含不同的表格数据，并且带分页，页面首次加载时需要显示第一页数据，并且在tab顶上显示总量，如下图所示： 各个表格数据从es中查询，涉及到计算，此处可以让前端调用多个接口来组装数据，但考虑到查询效率和网络交互，采用后端以多线程的形式查询，组合多...
CompleteFuture多线程处理分页记录
最新发布
海的声音的博客
06-18 132
【代码】CompleteFuture多线程处理分页记录。
java多线程查询数据库（分段查询）
weixin_40052298的博客
03-08 1万+
根据数据集合的大小，所开线程的数量，计算每个线程需要执行查询的数据量。 计算出SQL语句中每个查询的起始位置和结束位置下标。 每个线程，查询各自的范围内的数据。 public void queryByThread() { // 数据集合大小，由调用者自己指定 int listSize = 100; // 开启的线程数 int runSize = 20; // 一个线程处理数据条数，如果库中有100条数据，开启20个线程.
异步编排CompletableFuture
cybxh的博客
09-10 308
CompletableFuture异步调用 问题：查询商品详情页的逻辑非常复杂，数据的获取都需要远程调用，必然需要花费更多的时间。 假如商品详情页的每个查询，需要如下标注的时间才能完成 // 1. 获取sku的基本信息 0.5s // 2. 获取sku的图片信息 0.5s // 3. 获取sku的促销信息 TODO 1s // 4. 获取spu的所有销售属性 1s // 5. 获取规格参数组及组下的规格参数 TODO 1.5s // 6. spu详情 TODO 1s ......... 那么，
用mybatis批处理, 编程式事务,CompletableFuture异步处理,多线程,线程池,list 分页,实现多张表大批量插入
果酱 の 博客
05-31 6030
在实际的开发中，我们经常需要将大量的数据插入到数据库中。如果使用单条插入的方式，会导致数据库连接频繁的开启和关闭，从而导致程序性能低下。为了提高程序的性能，我们可以使用批处理的方式来插入数据。同时，我们还可以使用Java编程式事务、多线程、线程池、List分页等技术来实现多张表大批量插入的功能。本文将介绍如何使用Java编程式事务、多线程、线程池、List分页等技术实现多张表大批量插入的功能。本文介绍了如何使用Java编程式事务、多线程、线程池、List分页等技术实现多张表大批量插入的功能。
【开发常用场景】CompletableFuture使用多线程查询
qq_35354529的博客
07-25 446
开发常用场景
多线程编程实例（使用CompletableFuture）
Allen技术小站
01-24 1038
关键配置： /** * 代理类对象 */ YrSyncWrService yrSyncWrServiceProxy; // 获取代理类的对象，调用本类方法时，注解才会生效。比如@Async多线程，@Transactional事务控制 yrSyncWrServiceProxy = SpringUtil.getBean(YrSyncWrServiceImpl.class); // 创建指定多线程处理批次数大小数组 .
基于java开发的NIO+多线程实现聊天室+源码+项目解析（毕业设计&课程设计&项目开发）
06-09
基于java开发的NIO+多线程实现聊天室+源码+项目解析，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 项目简介： 涉及到的技术点 线程池ThreadPoolExecutor 阻塞...
基于Java+socket实现多线程聊天室(控制台版+高分课设)
01-04
基于Java+socket实现多线程聊天室(控制台版+高分课设)已获导师指导并通过的95分的高分期末大作业项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 该系统功能完善、界面美观、操作简单...
mybaits 多线程 实现数据批量插入 （运用CountDownLatch实现闭锁）
10-12
在MyBatis中，可以通过编写动态SQL或者设置Mapper接口参数来实现分页查询，然后在多线程环境中对每一批数据进行处理。 进入主题，`多线程`与`闭锁`的运用。在Java并发编程中，`CountDownLatch`是一个同步辅助类，它...
pagination:基于QT + VS2017模拟内存分页
03-17
在IT行业中，内存分页是一种常见的数据管理策略，特别是在处理大量数据时，为了提高性能和减少内存消耗。本文将深入探讨如何使用C++编程语言，结合QT库和Visual Studio 2017来实现一个基于内存的分页系统。QT是一个...
大数据量多线程执行分页查询
07-01
6. **ConsoleApp2**：这可能是一个基于C#的控制台应用程序，用于演示或测试多线程分页查询的实现。通常，此类应用程序会包含数据访问层、业务逻辑层和用户界面层的代码。 在实际应用中，实现大数据量多线程分页查询...
CompletableFuture取多个任务结果
weixin_49456013的博客
04-26 1948
public class DemoTest { @Test public void test(){ long start = System.currentTimeMillis(); CompletableFuture<List<Integer>> future1 = CompletableFuture.supplyAsync(() -> { List<Integer> ipPmPortFlow
多线程批量执行任务简单实例(CompletableFuture)
yyongsheng的博客
02-14 2242
【代码】多线程批量执行任务简单实例。
CompletableFuture&CopyOnWriteArrayList 多线程查询优化
qq_39809613的博客
12-27 351
1
异步----CompletableFuture
Alt__的博客
07-28 217
一、线程回顾 1、初始化线程的4种方式 1. 继承Thread Thread01 thread = new Thread01(); thread.start(); //启动线程``` 2. 实现Runnable接口 Runnable01 runnable01 = new Runnable01(); new Thread(runnable01).start(); 3. 实现Callable接口+FutureTask FutureTask<Integer> futureTask
异步线程池+多线程实现EXCEL填充，打包（zip）及上传
ILoveController的博客
12-15 1422
需求背景： 1、通过筛选条件过滤数据（多线程主要解决这一步查询慢的问题） 2、数据填充EXCEL 3、多EXCEL打zip包上传到文件服务器 4、先返回下载信息，再同步导出EXCEL报表数据 主要逻辑和方法： 注册异步线程池 /** * 注册异步线程池 */ @Bean("asyncThreadPool") public ThreadPoolTaskExecutor asyncThreadPoolTaskExecutor() {
easylogging++ 多线程 内存暴涨
10-28
Easylogging是一个简单易用的日志库，它可以帮助开发人员在程序运行过程中记录并追踪各种日志信息。它提供了许多便捷的方法，使开发人员能够根据实际需要对日志进行配置，并将其输出到不同的地方，如控制台、文件等。 多线程是一种在同一个进程中同时执行多个任务的方法。多线程可以提高程序的并发性和效率，但也会带来一些问题。其中一个常见的问题是内存暴涨。 内存暴涨指的是程序在运行过程中占用的内存空间急剧增加。多线程程序中，每个线程都有自己的栈空间，用于存储局部变量等数据。当多个线程同时执行时，可能会导致大量的栈帧被同时创建和销毁，从而占用大量的内存空间。此外，多线程程序还可能存在共享数据的问题，需要使用一些同步机制来保证数据的正确性，这也会增加内存的开销。 为了解决多线程程序中的内存暴涨问题，可以采取一些措施。首先，可以对线程进行优化，尽量减少线程的创建和销毁次数，减少栈空间占用。其次，可以优化共享数据的访问方式，使用一些高效的同步机制，如读写锁、原子操作等，减少内存开销。此外，还可以使用一些内存管理工具来监测和调优程序的内存使用情况，及时发现和解决内存暴涨问题。 总结来说，Easylogging可以帮助我们方便地记录和追踪日志信息，多线程能够提高程序的并发性和效率，但同时也会带来内存暴涨的问题。为了解决内存暴涨，我们可以采取一些优化措施，减少线程的创建和销毁次数，优化共享数据的访问方式，并使用内存管理工具监测和调优程序的内存使用情况。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HiiZack

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值