记一次程序优化---sql数据大，表关联过多，但结果仅需要前几条数据

最新推荐文章于 2022-03-10 19:00:49 发布
最新推荐文章于 2022-03-10 19:00:49 发布
阅读量1.8k 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luzkingforever/article/details/78427482
版权

背景：业务复杂，必须走一套sql流程，但是最后实际上只用到前十条数据

思路：缩小数据量，把复杂sql中一部分可以事先查询的存入物理表中，用job执行存储过程插入物理表，替换复杂sql中抽出的部分。

总结：空间换时间

luzkingforever
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
sql优化相关:表关联的优化，字段筛选的优化。
xiaobai_laobai的博客
07-24 978
问题一:哪个执行效率高?(执行结果相同.) 直接使用两个表关联再选出需要的字段 select a.deptno, a.dname, b.ename from dept a, emp b where a.deptno=b.deptno; 先挑选出两个表中关联字段、需要字段,进行造表再进行关联 select a.deptno, a.dname, b.ename from (select deptno, dname from dept) a, (select deptno, ename f
数据挖掘算法之关联规则挖掘
myy1012010626的专栏
02-22 2476
最近在数据挖掘方面进行学习探讨，从http://www.36dsj.com/archives/2443转载的这篇文章。方便归类学习！ 在数据挖掘的知识模式中，关联规则模式是比较重要的一种。关联规则的概念由Agrawal、Imielinski、Swami 提出，是数据中一种简单但很实用的规则。关联规则模式属于描述型模式，发现关联规则的算法属于无监督学习的方法。 一、关联规则的
查询优化：SQL优化，关于连多表查询
平凡老者
08-01 3378
查询优化：SQL优化 场景：当列表展示的数据来自很多表中的数据时，由于需要实现相关的查询条件，WHERE涉及到每张表时，需要用JOIN连接查询出相关数据（比如查询采购单数据：有采购单、采购单明细、入库数据、报损数据、取消数据、请款数据、采购合同、产品信息等等），JOIN连接查询也很方便地获取到要返回的数据，但是问题来了，这么多表查询起来关联的数据非常多，查询耗时很大，甚至超过30秒，影响用户体...
修改关联关系表数据时避免太多逻辑处理的方法？
Do_LaLi的博客
11-24 262
每次修改保存的时候，根据添加修改条件，全部删除，然后再插入即可。
Join查询联表的数量最大到底不要超过多少，有人说5，有人说6？？
Monsterof的博客
09-28 6472
前言 从今天开始，小怪将使用CSDN社区作为MySQL案例的应用场景，详细剖析MySQL的实现细节。 相信博友们都知道CSDN社区个人主页上有一个“关注了”和“关注者”的功能，尤其是“关注者”功能，当你看到消息提醒，又有人关注你啦，你可能会点进关注者列表瞅瞅：咦，今天又有哪位大佬关注我啦！有点小激动，哈哈哈！ 今天小怪就以“关注者”这个功能为例，看看我们是怎么用SQL实现该功能的，语句背后的执行原理又是怎样的？ 我们先来看看如何用SQL实现“关注者”功能： SELECT user.user_name,
EF基本增删改查附百万级数据测试
06-08
EF可能会自动处理一部分内存管理，但开发者仍需注意避免一次性加载过多数据。 9. **扩展性与并发：** 针对高并发环境，开发者可能利用EF的异步操作、事务处理和连接池来提升系统扩展性和并发性能。 综上所述，...
sql的执行效率优化
12-07
SQL 执行效率优化是数据库管理和优化中非常重要的一方面，好的 SQL 执行效率可以极大地提高系统的性能和响应速度。本文将从多方面讨论 SQL 执行效率优化的方法和技术。 1. 选择最有效率的表名顺序 在基于规则的...
SQL查询安全性及性能优化
03-07
SELECT TOP 1 ID,TITLE,UNITPRICE FROM BOOKS WHERE AUTHOR = '马骏 主编' --数据库只要找到一条符合条件的结果就立即返回了。  由于返回的数据量减少，IO性能提高了  前提：必须知道要返回的行数 select字段...
MySQL查询性能优化
最新发布
01-19
在评估查询开销的时候，要考虑一下从表中找到某一行数据的成本， MySQL 有好几种访问方式可以查找并返回一行结果，有些访问方式可能需要扫描很多行才能获取结果，有些访问方式可能无须扫描就能返回结果。 好的索引...
BBS jsp+Sql server
05-29
【BBS jsp+Sql server】是一个基于Java的Web应用程序，使用了JSP（JavaServer Pages）技术来构建用户界面，结合SQL Server数据库来存储和管理论坛的数据。这个项目旨在实现一个基本的在线讨论平台，其中包括了登录、...
SQL语句中的join用法
热门推荐
julielele的博客
08-24 4万+
SQL中join的各种用法 1.自然连接（natural join） 自然连接将表中具有相同名称的列自动进行匹配，自然连接不必指定任何同等连接条件也不能认为指定哪些列需要被匹配，自然连接得到的结果表中，两表中名称相同的列只出现一次。 select * from employee natural join department; 2.内连接（inner join）:产生的结果是A和B的交集（相同列里...
sql 语句left join关联超过2张表时，随着left join一路向左，永远只能是最左边的关联表与新表关联吗？还是母表可以一直on下去？
Joy_love_data的博客
08-26 2018
今天这个帖子要解决一个问题：oracle数据库表间通过left join关联超过2张表时，随着left join一路向左，永远只能是最左边的关联表与新表关联吗？还是母表可以一直on 下去？ 利用sqlfiddle创建三张基本表结构先： create table company(company_id int,company_name varchar2(10),department_id int,employee_id int); create table department(department_id in
mysql左表关联数据会多_数据库是mysql4.0一张表关联多张表的sql左连接写法：
weixin_36445525的博客
01-19 276
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":10,"count":10}]},"card":[{"des":"刷脸门禁通行系统前端接入人脸AI赋能的人脸识别门禁机，系统能够提供基于人脸One -ID的人员管理、识别比对、智慧通行、轨迹记录、人脸搜索等服务，满足用户对...
为什么不建议执行超过3表以上的多表关联查询？
菜不是原罪
10-28 5939
概述：前段时间在跟其他公司DBA交流时谈到了mysql跟PG之间在多表关联查询上的一些区别，相比之下mysql只有一种表连接类型:嵌套循环连接(nested-loop),不支持排序-合并连接(sort-merge join)与散列连接(hash join)，而PG是都支持的，而且mysql是往简单化方向去设计的，如果多个表关联查询（超过3张表）效率上是比不上PG的。 下面也对mysql多表关联...
几十张表关联查询效率慢
weixin_49186526的博客
03-10 2353
首先你会想到，给表加索引，那么mysql会给主键自动建立索引吗? 会的，当然会。 在我们查询的业务表操作的时候，表业务数据庞大起来的时候，以及left join多的时候，甚至多表关联到几十张表的时候，查询是慢到外婆家里去了。 这时候，只需要给表join查询的字段，及表结构，进行索引优化，即可解决这个慢的问题。 一，首先利用explain 关键字对查询的SQL进行分析。 # type=ALL，全表扫描，MySQL遍历全表来找到匹配行 # type=index，索引全扫描，MySQL遍历整个索引来查询
SQL优化,百万级2张表关联,从40分钟到3秒的历程
haoyuxuan的博客
04-28 2万+
表结构如下:   CREATE TABLE `deviceback` (     `id` int(11) NOT NULL AUTO_INCREMENT,     `imei` varchar(100) NOT NULL COMMENT '手机唯一标识',     `mid` varchar(50) DEFAULT NULL,     `mac` varchar(100
如何优化多数据集关联报表
Raqsoft
08-29 370
多数据集关联报表是很常见的报表形式，它允许开发者分别从不同的来源（表或数据库）分别准备数据形成不同的数据集，在报表端（模板）通过表达式描述数据集间的关系完成关联。这样可以避免在数据准备时写过于复杂的SQL/存储过程，降低维护难度。尤其当报表数据来源于多个数据库时，多数据集的优势更加明显。 凡事都有两面性，多数据集为开发带来方便的同时却对性能造成了极大的影响。在报表端进行多数据集关联时要计算关联表...
Oracle对于多个大表关联操作如何优化速度？
疯狂的蜗牛
12-27 3916
首先要建立适当的索引。sql在索引字段不要加函数，保证索引起效。如果是复合索引注意在sql的顺序。如果已经存在索引，建议你先重建索引先，因为大数据表的索引维护到了一个阶段就是乱的，一般建议重建。建立好的一般可以获得几十倍的速度提升。 最大数据量的表放在最前，最小的表放在最后面。sql是从最后面开始反向解析的。 其次是要把最有效缩小范围的条件放到sql末尾去。尤其是主键或者索引字段的条件。 保...
数据库-数据的定义(SQL语言).ppt
11-16
数据库-数据的定义(SQL语言) SQL（Structured Query Language）是关系数据库的标准语言，也是一个通用的、功能极强的关系数据库语言。SQL语言主要包括数据定义功能、数据控制功能、数据查询功能和数据操纵功能四个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值