mysql的jdbc驱动流式读取数据原理

最新推荐文章于 2024-04-26 12:33:23 发布
最新推荐文章于 2024-04-26 12:33:23 发布
阅读量1.7k 收藏 1
点赞数 2
分类专栏： # mysql驱动
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41634872/article/details/107399616
版权

结合JDBC操作MySQL流式查询原理来看

mysql获取数据的核心逻辑就是下面这个截图，PreparedStatement
封装了sql及fetchSize和其他信息，他通过execute方法获取
ResultSet 对象让我们来消费里面的数据

在这里插入图片描述

核心原理：有两种resultset,分别是批式的和流式的，
createStreamingResultSet()返回true则最终会返回一个流式的
resultset,批式的rs是先将数据全部读入然后再将rs对象返回，流式
的则是先将rs构造出来接着返回，用户调用next()方法会触发其读取
一条数据

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

关健：可以看到RowDataDynamic刚一开始没有读取数据，真正读
取数据是在调用next()方法时
韩运畅
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JDBC流式读取
William_TWG的博客
10-07 3608
业务场景 在做数据库的相关开发的时候，可能有人面对过这些场景，从一个数据库把大数据量读取出来存放到另外一个数据库、做大数据量的报表、将大数据量的数据读取出来推送到接口。 因为是大数据量，所以如果直接读取可能会存在OOM的问题，或者直接卡顿，因为使用JDBC连接数据库读取大数据量时候，所有的数据是直接从数据库服务端加载进入了客户端，所以内存占用过大，而且result.next()方法会阻塞。 解决方式 分页 上面的这种情况或许有人会说，数据量大那可以使用分页的方式，的确，甚至可以使用框架的分页，例
JDBC查询数据库——普通、流式、游标
yztezhl的专栏
05-29 2184
JDBC查询数据库——普通、流式、游标
JDBC查询大数据时怎么防止内存溢出-流式查询
最新发布
pyf2533931995的博客
04-26 1896
在使用 JDBC 查询大数据时，由于 JDBC 默认将整个结果集加载到内存中，当查询结果集过大时，很容易导致 JVM 内存溢出的问题。解决办法通常是使用分页查询，但是分页查询越往后要遍历的行数越多，效率越低。除非能够添加索引条件，但这又提高了业务逻辑的复杂度。JDBC的流式查询就是在使用ResultSet对象获取查询结果集的时候，不是把结果集一次性全部加载到内存中，而是分批次读取数据。在jdbc客户端和mysql服务端建立tcp连接后，mysql以包的形式返回数据。
JDBC mysql大数据量流式读取
热门推荐
岁月静好
02-04 1万+
总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题，与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后再生成大量的汇总数据然后写入到数据库。基本流程是 读取->处理->写入。 读取操作开始遇到的问题是当sql查询数据量比较大时候基本读不出来。开始以为是server端处理太慢。但是在控制台是可以立即返回数据的。于是在应用这边抓包，发现也是发送sql后立即有数
JDBC druid流式读取mysql 亿级表，并将数据插入到doris
qq_31528769的博客
01-10 1619
JDBC druid流式读取mysql 亿级表，并将数据插入到doris
从 MySQL 数据库里读取 500w 数据行进行处理，应该怎么做更效益化？
meser88的博客
11-18 1705
前言 由于现在 ORM 框架的成熟运用，很多小伙伴对于 JDBC 的概念有些薄弱，ORM 框架底层其实是通过 JDBC 操作的 DB JDBC（JavaDataBase Connectivity）是 Java 数据库连接, 说得直白点就是使用 Java 语言操作数据库 由 SUN 公司提供出一套访问数据库的规范 API， 并提供相对应的连接数据库协议标准， 然后 各厂商根据规范提供一套访问自家数据库的 API 接口 1 MySql JDBC 大数据量操作 整篇文章以大数据量操作为议题，通过开发过程
使用JDBC在MySQL数据库中如何快速批量插入数据
09-09
本篇文章将详细讲解如何使用JDBC在MySQL数据库中进行快速批量插入数据。 首先，批量插入的基本步骤包括： 1. **建立数据库连接**：通过`DriverManager.getConnection()`方法加载数据库驱动并建立连接。在`...
单线程Socket编程实现mysql数据读取
09-28
在这个场景中，我们关注的是如何使用单线程Socket编程来实现从MySQL数据库中读取数据。首先，我们需要理解Socket的基本概念，然后深入探讨如何构建Socket客户端和服务器，以及如何与MySQL数据库进行交互。 **Socket...
代码：kafka数据接入到mysql中
03-06
- 启动Kafka Connect服务，它会读取配置文件，并开始将Kafka中的数据写入MySQL。 5. **监控和管理** - 通过Kafka Connect REST API或Confluent Control Center（如果使用了Confluent Platform）来监控数据迁移...
关于JDBC与MySQL临时表空间的深入解析
12-15
【JDBC与MySQL临时表空间】的...在处理大数据查询时，合理选择数据读取策略，如流式读取，可以有效地平衡内存使用和错误处理。同时，关注MySQL版本的特性更新，如临时表空间的独立管理，也是提升数据库效率的重要途径。
java与前端交互--实现excel上传添加mysql表数据Ssm
12-11
此外，还要配置MySQL的JDBC驱动，并在MyBatis的配置文件中指定数据源和Mapper扫描路径。 在实际操作中，需要注意以下几点： 1. 处理大文件时，要防止内存溢出。可以采用流式处理Excel，一次只读取一行或多行。 2. ...
聊聊mysql jdbc的queryTimeout及next方法
张伟的专栏
04-17 2067
序本文主要介绍一下mysql jdbc statement的queryTimeout及resultSet的next方法executeQuery()mysql-connector-java-5.1.43-sources.jar!/com/mysql/jdbc/PreparedStatement.java/** * A Prepared SQL query is executed and i...
【Mybatis】打开 MySQL 流式查询的大门之原理篇
tanpenggood
04-13 1761
一起来探索 MySQL 流式查询的原理。
mysql 流式查询_mysql数据库流式查询
weixin_30783363的博客
02-01 2897
mysql数据库流式查询发布时间：2018-08-10 15:23,浏览次数：541, 标签：mysql1.为什么使用流式查询？普通查询方式：1)JVM进程内数据库线程池，某一线程执行查询时，调用mysql驱动程序。2)mysql驱动向mysql服务器发起TCP请求，服务器端根据条件查询匹配的数据，然后通过TCP链接发送到MySQL驱动。3)mysql驱动把符合条件的数据缓存到驱动内存中，待数据发...
MySQL大数据量查询方案
永远相信美好的事情即将发生
08-18 6577
在业务开发过程中,有时会遇到大数据量查询的情况,如果将一次性加载全部查询结果的话会导致内存量暴增,甚至出现OOM异常,为了解决这种场景,MySQL中提供了针对此类场景解决方案,本文针对此类场景进行了研究..........
流式查询1.0
weixin_43678301的博客
07-05 1369
流式查询（解决大数据查询OOM问题） 1. 什么是流式查询？ 流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。 如果没有流式查询，我们想要从数据库取 1000 万条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计的不好，就无法执行高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。 流式查询的过程当中，数据库连接是保持打开状态的，因此要注意的是：执行一个流式查询后，数据库访问框
大数据量查询：流式查询与游标查询
Infinite Progress
03-23 4520
大数据量查询：流式查询与游标查询
JDBC--05--MySQL大数据量操作---常规查询、游标查询、流式查询,
时光里的博客
06-28 4177
MySql JDBC 大数据量操作 Java Web 程序里，能够被称为大数据量的，几十万到千万不等，再高的话 Java（WEB 应用）处理就不怎么合适了 举个例子，现在业务系统需要从 MySQL 数据库里读取 500w 数据行进行处理，应该怎么做? 常规查询，一次性读取 500w 数据到 JVM 内存中，或者分页读取 流式查询，建立长连接，利用服务端游标，每次读取一条加载到 JVM 内存 游标查询，和流式一样，通过 fetchSize 参数，控制一次读取多少条数据 常规查询 默认情况下，完整的检索
JDBC 查询（普通、流式、游标）
chuancu0042的博客
08-23 1852
https://www.jianshu.com/p/c7c5dbe63019 转载于:https://my.oschina.net/u/244278/blog/3096737
java 实现MySQL流式读取
06-13
Java实现MySQL流式读取可以使用JDBC的ResultSet对象，通过设置FetchSize属性实现流式读取。具体实现步骤如下： 1.使用JDBC连接MySQL数据库，获取Connection对象： ``` Class.forName("com.mysql.jdbc.Driver"); Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/test", "root", "123456"); ``` 2.创建PreparedStatement对象，设置FetchSize属性： ``` PreparedStatement pstmt = conn.prepareStatement("SELECT * FROM user", ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); pstmt.setFetchSize(Integer.MIN_VALUE); ``` 3.执行查询语句，获取ResultSet对象： ``` ResultSet rs = pstmt.executeQuery(); ``` 4.遍历ResultSet对象，读取数据： ``` while (rs.next()) { //读取数据 } ``` 通过设置FetchSize属性为Integer.MIN_VALUE，可以开启流式读取模式，此时ResultSet会一次只读取一条记录，避免一次性将大量数据加载到内存中。需要注意的是，流式读取模式下ResultSet只支持向前遍历，不支持随机访问。 另外，需要注意的是，JDBC的ResultSet默认情况下是非流式读取模式，即每次查询时会将所有数据一次性加载到内存中，可能会导致内存溢出等问题。因此，在处理大量数据时，尽量使用流式读取模式，以提高程序的性能和稳定性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值