Java-在查询大量数据时,怎么提高查询效率？

最新推荐文章于 2021-03-02 14:18:36 发布
最新推荐文章于 2021-03-02 14:18:36 发布
阅读量5.8k 收藏
点赞数

从数据库设计方面考虑:

建立索引
分区(MysQL,比如按时间分区)
尽量使用固定长度的字段
限制字段长度
从数据库I/O方面:

增加缓冲区
如果涉及表的级联,不同的表存储在不同的硬盘上,以增加I/O读取的速度
从SQL语句方面:

优化SQL语句,减少比较的次数
限制返回的条目数(MySQL中用的limit)
从Java代码方面:

如果反复使用的查询,使用preparedStament减少查询的次数
使用批量处理
 

twyx0621
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java一次性查询处理几百万数据解决方法
02-27
java一次性查询处理几百万数据解决方法 几百万数据是可以处理的 暂时还没试过几千万级的数据处理
Java线程池多线程查询数据库提高查询效率
weixin_43840809的博客
05-14 7905
Java线程池多线程查询数据库提高查询效率需求问题思路代码解析 需求 公司数据统计报表查询，几张大表关联查询，包含跨库查询，数据联查，数据过滤，数据统计。 问题 主表数据1 主表数据2 … 统计数据1 统计数据2 … 数据 数据 数据 数据 报表结构是主表数据+统计数据，只查主表数据速度很快，统计数据需要跨库联查，且表数据量大，拖慢了速度。 一开始的做法是，每次分页请求都先获取主表list，再foreach主表list，根据主表字段去查询统计数据并进行计算，再合并到主表进行返回
Java-针对查询大量数据时,解决效率的方案
热门推荐
乐于学习、乐于分享、乐于总结
02-05 1万+
在查询大量数据时,怎么提高查询效率？ 从数据库设计方面考虑: 建立索引分区(MysQL,比如按时间分区)尽量使用固定长度的字段限制字段长度 从数据库I/O方面: 增加缓冲区如果涉及表的级联,不同的表存储在不同的硬盘上,以增加I/O读取的速度 从SQL语句方面: 优化SQL语句,减少比较的次数限制返回的条目数(MySQL中用的limit) 从Java代码方面: 如果反
java 百万数据查询_JAVA技巧：Java中的大量数据查询
weixin_31849185的博客
02-16 3961
解决方案一：直接使用ResultSet来处理从ResultSet中将查询结果读入collection,缓存在HttpSession或有状态bean中，翻页的时候从缓存中取出一页数据显示。这种方法有两个主要的缺点：一是用户可能看到的是过期数据；二是如果数据量非常大时第一次查询遍历结果集会耗费很长时间，并且缓存的数据也会占用大量内存，效率明显下降。对上述方法的一种改进是当用户第一请求数据查询时，就执行...
一个接口查询关联了十几张表，响应速度太慢？那就提前把它们整合到一起
架构师小秘圈
02-12 1104
作者 l 会点代码的大叔（CodeDaShu）不知道开发的同学有没有遇到过类似这样的需求：相同类型的数据在多个系统中，如果要得到全部的信息，就要连续调多个系统的接口；业务复杂，一个需求需...
在一个千万级的数据库查寻中，如何提高查询效率？
This My Life - chisj
03-10 1980
转载自：http://blog.csdn.net/xlgen157387/article/details/44156679 在一个千万级的数据库查寻中，如何提高查询效率？ 1）数据库设计方面：  a. 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。  b. 应尽量避免在 where 子句中对字段进行 null 值判断，否
java优化多表查询_「mysql优化专题」你们要的多表查询优化来啦！请查收（4）...
weixin_39628105的博客
03-02 422
一、多表查询连接的选择：相信这内连接，左连接什么的大家都比较熟悉了，当然还有左外连接什么的，基本用不上我就不贴出来了。这图只是让大家回忆一下，各种连接查询。 然后要告诉大家的是，需要根据查询的情况，想好使用哪种连接方式效率更高。(这是技术文)二、MySQL的JOIN实现原理在MySQL 中，只有一种Join 算法，就是大名鼎鼎的Nested Loop Join，他没有其他很多数据库所提供的Hash...
Java实现excel大数据量导入
09-07
主要为大家详细介绍了Java实现excel大数据量导入，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
java中JDBC实现往MySQL插入百万级数据的实例代码
08-31
主要介绍了java中JDBC实现往MySQL插入百万级数据的实例代码，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。
Java使用JDBC向MySQL数据库批次插入10W条数据(测试效率)
08-31
使用JDBC连接MySQL数据库进行数据插入的时候，特别是大批量数据连续插入（100000），如何提高效率呢?今天小编通过本教程给大家介绍下
如何处理大数据量的查询
01-19
在实际的任何一个系统中，查询都是必不可少的一个功能，而查询设计的好坏又影响到系统的响应时间和性能这两个关键指标，尤其是当数据量变得越来越大时，于是如何处理大数据量的查询成了每个系统架构设计时都必须面对的问题。本文将从数据及数据查询的特点分析出发，结合讨论现有各种解决方案的优缺点及其适用范围，来阐述J2EE平台下如何进行查询框架的设计。
java poi 导入大数据量Excel数据 防止内存溢出处理.zip
03-20
java 使用 poi 解析导入大数据量（几万数据量+）时，报出OOM。这是使用POI 第二种处理方法，解决大数据量导入内存溢出问题，并提升效率
java实现csv导出千万级数据实例
07-31
轻松解决普通poi形式导出Excel的中出现的栈溢出问题，此资源可实现千万级数据分批导出csv文件，测试实现16500000条数据大概80秒左右；具体表里内容。
JAVA 提高查询效率（sql优化）
平安的博客
09-25 2525
问题 在前端像后端请求数据时，后台查询时间过久，导致传输超时 解决思路 增加超时时间（治标不治本） 找到后台查询时间久的原因（在前端请求后台的接口上，给调用的方法打上时间戳，以此来找到对应耗时的方法，以及耗时的时间） 过程 经过时间戳的增加，发现，后台查询数据过久的原因，在于，查询数据库上。 本人查询数据库的方式 List<Order> orderList = new ArrayList(); List<User> userList = userDao.selectByType(
java多次io效率低_面试官又问我Select * 为什么效率低下？
weixin_36078669的博客
02-26 186
Select * 为什么效率低下​ 无论是在平时的工作中还是面试中，都会遇到不让用Select *的情况，那么到底是什么原因导致其沦落到人人喊打的地步呢/效率低下的原因​ 在阿里java开发手册中关于Mysql的部分描述中提到：在表查询中一律不要使用* 作为查询的字段列表，需要用那些字段必须明确写明。原因如下：增加查询分析器解析的成本增减字符容易与resultMap配置不一致无用字段增加网络消耗，...
MYSQL多表的联合查询和优化
asadavas的博客
03-05 1007
Mysql 多表联合查询效率分析及优化 分类： MySQL 2010-07-13 07:23 5410人阅读 评论(4) 收藏 举报 目录(?)[+] 1. 多表连接类型 1. 笛卡尔积(交叉连接) 在MySQL中可以为CROSS JOIN或者省略CROSS即JOIN，或者使用',' 如： SELECT * FROM table1 CROSS JOIN table2 SEL...
Java一次性查询几十万 几百万数据解决办法
我的
02-26 9110
Java一次性查询几十万 几百万数据解决办法 Java查询一次性查询几十万，几百万数据解决办法。很早的时候写工具用的一个办法，当时是用来把百万数据打包成rar文件。所以用了个笨办法。 希望高手指导一下，有什么好方法没有啊。 Java查询一次性查询几十万，几百万数据解决办法。 很早的时候写工具用的一个办法，当时是用来把百万数据打包成rar文件。 所以用了个
ElasticsearchDemo2Application
若初容若
03-11 185
import com.alibaba.fastjson.JSON; import com.itheima.elasticsearchdemo2.domain.Goods; import com.itheima.elasticsearchdemo2.mapper.GoodsMapper; import org.elasticsearch.action.DocWriteRequest; import...
2023年美赛特等奖论文-F-2305794-解密.pdf
最新发布
05-06
大学生，数学建模，美国大学生数学建模竞赛，MCM/ICM，2023年美赛特等奖O奖论文
java分批取模查询大量数据数据的最佳实现
06-01
针对你的问题，我将为你提供一种 Java 分批取模查询大量数据的最佳实现方法： 方法：分批取模查询 1. 将数据分成若干个批次，每次查询一批数据，避免一次性查询数据量过大。 2. 对每个批次的数据进行取模操作，将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值