SpringBoot Mybatis 数据库流式读取优化（二）

最新推荐文章于 2024-06-26 17:40:48 发布
最新推荐文章于 2024-06-26 17:40:48 发布
阅读量7.2k 收藏 7
点赞数 5
分类专栏： 性能调优 Mybatis Java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36016763/article/details/79526352
版权

      还是接着上次文章的话题，流式数据库读取和批量数据获取中，方式各有千秋，流式数据读取可以很大的解决内存不足问题，而批量读取可以方便数据一次性收集，编码方便。但是流式真的比批量数据读取占有性能场景下的优势吗？这两天我通过Jconsle分析了下两种场景GC和堆内存的消耗。

流式读取方式：


从图中可以看出，Old Gen堆区的内存消耗十分严重，


而程序运行16分钟，GC耗时高达33S，这可以看出流式数据读取采用的策略：时间换空间，减少空间的使用必然带来大量的OldGen的消耗，在高性能程序处理上，这样带来容忍度是相当不行。

批量读取数据：

最低0.47元/天 解锁文章
行云流水猫
关注
  • 5
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MyBatis如何实现流式查询的示例代码
08-19
主要介绍了MyBatis 如何实现流式查询的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
SpringBoot Mybatis 数据库流式读取优化。
热门推荐
qq_36016763的博客
03-06 1万+
     众所周知的，Mybatis作为一个优秀的ORM框架极大方便了我们对数据库CUID的操作，但是Mybatis对底层JDBC的封装同时也给我们底层调优带来了一些问题，例如前段时间，存在一个这样的业务场景，如果要从数据库当中读取 1000W 条数据来进行处理。也许我们都会考虑采用select limit之类的语句来分批处理，这不乏为一个较好的解决方案。但是我们更期望对读取的数据逐行处理（即流式...
Spring Boot中的响应式数据流处理
最新发布
省赚客开发者博客
06-26 358
响应式数据流处理是一种基于异步事件流的编程模型，通过响应式库（如 Reactor 或 RxJava）处理数据流，实现高并发、低延迟和可伸缩性。Spring Boot 提供了对响应式编程的良好支持，使得开发者能够利用其优势来构建响应式应用。通过本文的介绍，你现在应该对 Spring Boot 中的响应式数据流处理有了深入的了解。响应式编程模型不仅提供了高效处理数据流的方式，还能够提升应用程序的性能和响应速度。
MySQL如何流式读取千万级大数据（数据分析）
weixin_38899094的博客
10-15 4156
随着系统的运作，业务数据的流入，我们系统中的信息也越来越多，在数据量达到百万甚至千万级以上时，我们如何从数据库中拿去到这些数据，进行数据分析，这是一个比较麻烦的难题。有人会说我不停的去分页查询，是否也可以拿到我想要的数据呢？是可以的，但是这样的效率和资源的消耗也是很大，我们想达到的效果其实是以流式读取的方式获取到资源数据，那什么是流式读取呢，下面我为大家结合常用的查询形式与流式的区别，更好的理解流式读取的形式到底是什么样子的。 本章主要以MySQL数据库为例。 我们先介绍下JDBC JDBC可以理解成一.
mysql JDBC的三种查询（普通、流式、游标）
赶路人儿
05-17 7686
在 TCP 中发送端和接收端**可以是客户端/服务端，也可以是服务器/客户端**，通信的双方在任意时刻既可以是接收数据也可以是发送数据（全双工）。由于MySQL方不知道客户端什么时候将数据消费完，而自身的对应表可能会有DML写入操作，此时MySQL需要建立一个临时空间来存放需要拿走的数据。在执行st.executeQuery()时，jdbc驱动会通过connection对象和mysql服务器建立TCP连接，同时在这个链接通道中发送sql命令，并接受返回。（第一次调用的正常，第二次的抛出异常）。
SpringBoot集成Mybatis实现流式查询
qq_30211955的博客
04-20 366
springboot-mybatis流查询
SpringBoot+Mybatis 如何实现流式查询，你知道吗？
公众号-老炮说Java
06-07 233
大家好，我是老赵前言mybatis的流式查询，有点冷门，实际用的场景比较少，但是在某些特殊场景下，却是十分有效的一个方法。很多人没有听说过，实际上是对mybatis没有太重视，对mybatis想法还停留一个dao接口对应着mapper里的一个sql，mybatis的关键是如何写好sql以及sql的优化上；其实mybatis远不止这些，通过这篇文章，和大家一块来见识一下流式查询，mybatis相对冷...
springboot + mybatis 流式查询
S_L__的博客
02-06 799
springboot + mybatis 流式查询
使用Springboot+Mybatis完成的线上网盘
01-02
【标题】"使用Springboot+...总结来说，"使用Springboot+Mybatis完成的线上网盘"是一个涵盖了后端开发、数据库设计、前端交互、安全性、性能优化等多个方面的综合性项目，体现了现代Web开发的诸多技术和最佳实践。
深入浅析mybatis oracle BLOB类型字段保存与读取
09-10
在Oracle数据库中，BLOB（Binary Large Object）字段是用来存储大量二进制数据的类型，如图片、视频或任何非文本文件。与之相对的是CLOB（Character Large Object），用于存储大量的文本数据。在Java应用中，特别是...
spring+mybatis下BLOB字段的图片存取代码
10-01
在实际应用中，还需要考虑异常处理、优化性能（例如，使用流式处理大文件）以及安全性（如防止恶意文件上传）等方面的问题。在上述代码中，我们只展示了基本的图片存取流程，具体实现可能需要根据项目的具体需求进行...
流式大数据处理
08-24
Spark Structured Streaming的一些基本概念和工作原理
SpringBoot整合EasyExcel+MyBatis-Plus实现Excel批量导入和导出
05-03
本文将详细介绍如何使用SpringBoot框架结合EasyExcel和MyBatis-Plus来实现Excel的批量导入和导出，从而提高数据处理效率。 首先，SpringBoot是一个轻量级的Java开发框架，它简化了Spring应用的初始搭建以及开发过程...
流操作读取MySQL数据
学无止境
10-21 1436
使用流操作读取MySQL数据
Springboot项目如何实现mybatis的流式查询
凡夫编程
03-27 2628
mybatis的流式查询，有点冷门，实际用的场景比较少，但是在某些特殊场景下，却是十分有效的一个方法。很多人没有听说过，实际上是对mybatis没有太重视，对mybatis想法还停留一个dao接口对应着mapper里的一个sql，mybatis的关键是如何写好sql以及sql的优化上；其实mybatis远不止这些，通过这篇文章，和大家一块来见识一下流式查询，mybatis相对冷门的神秘面纱。文章的内容将从以下几个方面展开：1、什么是mybatis的流式查询；2、Cursor接口的主要方法；3、代码层面如何实
JDBC流式读取
William_TWG的博客
10-07 3631
业务场景 在做数据库的相关开发的时候，可能有人面对过这些场景，从一个数据库把大数据量读取出来存放到另外一个数据库、做大数据量的报表、将大数据量的数据读取出来推送到接口。 因为是大数据量，所以如果直接读取可能会存在OOM的问题，或者直接卡顿，因为使用JDBC连接数据库读取大数据量时候，所有的数据是直接从数据库服务端加载进入了客户端，所以内存占用过大，而且result.next()方法会阻塞。 解决方式 分页 上面的这种情况或许有人会说，数据量大那可以使用分页的方式，的确，甚至可以使用框架的分页，例
springboot-mybatis/JPA流式查询
new__person的博客
12-18 2365
查询大量数据，若不想内存溢出，一般会使用分页查询，但分页查询，随着页数的变大会有性能问题，所以这次可以使用流式查询了，本文针对不同的持久层框架（mybatis，JPA，原始JDBC），各自码了一版流式查询的代码
SpringBoot+Mybatis流式查询
weixin_51530836的博客
04-04 3126
前言 流式查询指的是查询成功后不是返回一个集合，而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能降低内存的使用。 如果没有使用流式查询，我们想要从数据库取1000万条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计得不好是，就无法高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。 流式查询的过程当中，数据库连接是保持打开状态的，因此要注意的是：执行一个流式查询后，数据库访问框架就不负责关闭数据库连接了，需要应用在取完数据后自己关闭。 Spr
MyBatis 流式查询
涂作权的博客
03-06 2557
基本概念 流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。 如果没有流式查询，我们想要从数据库取 1000 万条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计的不好，就无法执行高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。 流式查询的过程当中，数据库连接是保持打开状态的，因此要注意的是：执行一个流式查询后，数据库访问框架就不负责关闭数据库连接了，需要应用在取完数据后自己关闭。 M
狂神springboot mybatis数据库
07-28
狂神springboot mybatis数据库是一个使用Spring Boot和MyBatis框架进行数据库操作的项目。根据提供的引用内容，可以看出该项目使用了MyBatis Spring Boot Starter作为依赖项，并在配置文件中配置了数据库连接信息。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值