mybatis oracle查询数据量过大时 查询时间过长

最新推荐文章于 2024-08-02 15:49:51 发布
最新推荐文章于 2024-08-02 15:49:51 发布
阅读量2.5k 收藏 1
点赞数 3
分类专栏： mybatis 文章标签： 数据库 java spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36573407/article/details/104946255
版权

一、使用Navicat查询sql为 0.556s 数据为 8635条

感觉还凑合不算慢
在这里插入图片描述

二、放在myabtis中执行，打印sql执行之间发现时间翻了将近4倍

在这里插入图片描述

三、最后发现mybatis 默认一次读取100条数据 （只针对oracle mysql未知），当读取分页数据是没什么问题，但是当读取大量数据是就会显得慢了，只需要根据自身需求配置即可，以下采用yml格式配置

mybatis:
  mapper-locations: classpath:mapping/*.xml
  type-aliases-package: com.zkar.ptswindowservice.pojodetain/authentication
  configuration:
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
    default-fetch-size: 1000 #可以根据项目需求加大参数  每次读取1000条 默认 100

四、查看效果 完美解决，耗时 0.639

在这里插入图片描述

阿狸！！！！
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Oracle使用MyBatis中RowBounds实现分页查询功能
09-09
对于大数据量的分页查询，这种方法可能会消耗大量内存，此时建议使用更高效的分页方式，如存储过程或物理分页（如Oracle的`ROWNUM`配合`WITH`子句）。 总的来说，`RowBounds`在小型项目或对性能要求不高的场景下是...
大数据量翻页查询的一点经验
07-18
在大数据量的翻页查询中，优化查询性能是至关重要的，因为这直接影响到系统的响应速度和用户体验。在本文中，我们将探讨如何针对特定场景优化这种查询。首先，我们需要理解系统的基本设定：每天生成一张包含1000万条...
mybatis查询oracle慢优化
tangdj1992的博客
05-28 1311
mybatis查询oracle慢优化
MybatisPlus+Oracle +时间范围查询+ROWNUM查询
weixin_44885096的博客
05-27 705
MybatisPlus+Oracle +时间范围查询+ROWNUM查询
mybatis查询大批量数据
一零贰肆的博客
09-14 1287
服务端数据准备完成后，进行数据传输，它允许应用程序在数据库服务器上打开一个游标并按需检索数据，而不是一次性获取整个结果集，类似客户端向服务端分批。公司里有很多需要跑批数据的场景，这些数据几十万到几千万不等，目前我们采用的是分页查询，但是分页查询有个深度分页问题，上百万的数据就会查询的很慢。客户端而言，数据每次读取都是从本机器的内核缓冲区，所以性能会更快一些。代表的客户端内核源源不断的输送数据，直到客户端请求 Socket 缓冲区满，这时的。问题，我们可以选择使用分页查询，这样就不会导致内存溢出问题了。
mybatis读取Oracle数据量大时，速率很慢问题
Mr.Zheng
07-30 4534
继上一个问题解决：《前端请求数据时报：Cannot read property ‘status‘ of undefined问题解决》 上一篇文章说到后端查询数据超时导致前端请求响应超时，mybatis查询Oracle里2000条数据耗时了将近7秒，后面看了一下其他博主文章终于查到了问题根源。 一、PL/SQL查询1811条数据耗时0.261秒 二、mybatis查询耗时7.457秒 三、去看了下mybatis手册配置 意思是说“为驱动程序设置一个提示，以控制返回结果的获取大小,此参数值
MyBatis Plus 解决大数据量查询慢问题
旷野历程
08-04 1万+
分享知识 传递快乐 大数据量操作的场景大致如下： 数据迁移 数据导出 批量处理数据 在实际工作中当指定查询数据过大时，我们一般使用分页查询的方式一页一页的将数据放到内存处理。但有些情况不需要分页的方式查询数据或分很大一页查询数据时，如果一下子将数据全部加载出来到内存中，很可能会发生OOM(内存溢出)；而且查询会很慢，因为框架耗费大量的时间和内存去把数据库查询的结果封装成我们想要的对象（实体类）。 举例：在业务系统需要从 MySQL 数据库里读取 100w 数据行进行处理，应该怎么做？ 做
mybatis sql查询大数据量，条件有时间时查询效率非常慢
LoveJavaAndYou的博客
09-29 7059
情景: sql语句 查询大数据量时： sql语句在plsql 上执行非常快，放到java上mybatis 上执行 非常的慢，甚至时间超时； 此种问题是 oralce数据库类型自动隐式转换导致没走索引： 在mybatis中如果使用的是#，拼接后参数带引号 where aa.enter_time >= #{startTime} and aa.enter_time <= #{e...
MyBatis中使用流式查询避免数据量过大导致OOM
热门推荐
虾米记的博客
12-07 2万+
本文以springboot项目为例，要实现流式查询需要完成以下几步 pom文件中的配置 springboot中整合mybatis &lt;dependency&gt; &lt;groupId&gt;org.mybatis.spring.boot&lt;/groupId&gt; &lt;artifactId&gt;mybatis-spring-boot-starter&lt;/artifac...
MyBatis 在大数据量下使用流式查询进行数据同步
fhey的博客
03-29 872
通常的数据同步中，如果数据量比较少的话可以直接全量同步，默认情况下，完整的检索结果集会将其存储在内存中。在大多数情况下，这是最有效的操作方式，并且由于 MySQL 网络协议的设计，因此更易于实现。但是如果数据量很大的话，全量同步需要大量的内存，如果内存不足的话则可能会导致内存溢出。
Mybatis流式查询(查询数据过大的处理)
Ta0Zl的博客
12-23 2912
Mybatis流式查询(查询数据过大的处理) 问题： 在我们的应用场景中，可能会遇到查询返回的数据为上千万条的情况。如果不处理的话，数据太多可能会爆掉内存，而如果用分页的方式接收的话，可能会受数据库结构限制，降低一些效率。 流式查询 因此，所以有了流式查询的概念。流式查询返回的数据不是一个集合、List，而是一个迭代器，我们通过从迭代器中每次取出一条数据，从而对返回的数据进行处理，进而节约内存，而流式查询的这个特性又决定了，在执行流式查询的过程中，与数据库必须保持连接状态。 使用 接口类：org.apach
mybatis 大量数据 流式查询简单示例
qq_27106141的博客
03-21 785
mybatis 大量数据 流式查询简单示例
MyBatis批量插入数据到Oracle数据库中的两种方式(实例代码)
08-29
在使用MyBatis批量插入数据到Oracle数据库时，需要将useGeneratedKeys设置为false，以避免主键冲突的错误。 本文分享了MyBatis批量插入数据到Oracle数据库中的两种方式，希望对大家有所帮助。如果您有任何疑问，请...
深入浅析mybatis oracle BLOB类型字段保存与读取
09-10
总结起来，MyBatis与Oracle结合处理BLOB字段时，关键步骤包括：正确设置数据库表结构，创建相应的Java实体类，以及编写MyBatis映射文件来定义SQL查询和操作。理解这些概念和操作，能帮助你在实际开发中更有效地管理...
SpringMVC+Mybatis实现的Mysql分页数据查询的示例
08-29
我们将Pager作为一个实体对象放到domain层，当前页、单页数据量、当前页开始数、当前页结束数、总数据条数、总页数都作为成员属性放到实体类里面。然后，我们使用Mybatis来实现分页数据查询，并将结果返回到前端页面...
简单的 mongoDB 学习
qq_19342829的博客
07-31 477
mongodb入门学习整理
社区养老服务小程序的设计
Karen198的博客
07-31 424
管理员账户功能包括：系统首页，个人中心，用户管理，服务人员管理，服务产品管理，服务预约管理，服务状态管理，服务退订管理，活动管理，视频管理。主要技术：Java,Spring,mybatis,mysql,jquery,html。服务器：SpringBoot自带 apache tomcat。微信端账号功能包括：系统首页，服务产品，活动，视频，我的。JDK版本：Java JDK1.8。数据库可视化工具： navicat。数据库版本： mysql5.7。开发工具：IDEA(推荐)开发系统：Windows。
用 Bytebase 实现批量、多环境、多租户数据库的丝滑变更
最新发布
Bytebase的博客
08-02 694
现在，你已学会如何使用部署配置和数据库分组在 Bytebase 中运行批量更改。动手试试吧！💡 更多资讯，请关注 Bytebase 公号：Bytebase。
mybatis-plus 处理联合主键大数据量批量更新oracle
07-27
在 MyBatis-Plus 中处理联合主键大数据量的批量更新，针对 Oracle 数据库，可以按照以下步骤进行操作： 1. 确保你已经定义了对应的实体类，并在实体类中使用 `@TableId` 注解标识联合主键字段。 ```java @Data @TableName("your_table_name") public class YourEntity { @TableId(type = IdType.INPUT) private Long key1; @TableId(type = IdType.INPUT) private Long key2; // 其他属性 } ``` 2. 创建一个 Mapper 接口，继承自 `BaseMapper` 并指定实体类作为泛型参数。 ```java @Repository public interface YourMapper extends BaseMapper<YourEntity> { } ``` 3. 在 Service 层中使用 MyBatis-Plus 提供的方法进行批量更新操作。具体来说，可以使用 `updateBatchById` 方法。 ```java @Service public class YourService { private final YourMapper yourMapper; @Autowired public YourService(YourMapper yourMapper) { this.yourMapper = yourMapper; } public void batchUpdate(List<YourEntity> entityList) { yourMapper.updateBatchById(entityList); } } ``` 4. 在 Oracle 数据库中，由于不支持直接使用 `(key1, key2) in` 的语法，可以通过使用临时表来实现批量更新。首先，创建一个临时表，用于存储批量更新的数据。 ```sql CREATE GLOBAL TEMPORARY TABLE temp_table ( key1 NUMBER, key2 NUMBER ) ON COMMIT PRESERVE ROWS; ``` 5. 接下来，在批量更新方法中使用原生 SQL 来执行批量更新操作。 ```java @Repository public interface YourMapper extends BaseMapper<YourEntity> { @Update("INSERT INTO temp_table (key1, key2) VALUES (#{item.key1}, #{item.key2})") void insertIntoTempTable(@Param("item") YourEntity item); @Update("UPDATE your_table_name t SET column1 = ?, column2 = ? WHERE EXISTS (SELECT 1 FROM temp_table WHERE t.key1 = temp_table.key1 AND t.key2 = temp_table.key2)") void batchUpdate(); } ``` 在上述示例中，我们使用 `insertIntoTempTable` 方法将批量更新的数据插入临时表中，然后使用 `batchUpdate` 方法执行批量更新操作。在 `batchUpdate` 方法中，我们使用原生 SQL 来更新目标表的数据，通过与临时表的关联来实现根据联合主键批量更新的效果。 最后，调用 `batchUpdate` 方法即可执行批量更新操作。 请确保在配置文件中配置好数据库连接信息和相关的 MyBatis-Plus 配置。希望对你有所帮助！如果有任何疑问，请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值