sql大数据量优化总结

最新推荐文章于 2024-05-15 20:22:33 发布
最新推荐文章于 2024-05-15 20:22:33 发布
阅读量780 收藏
点赞数
分类专栏： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40010498/article/details/106384978
版权

以mysql分页为例
一、大数据量分页查询

  1. 单表但数据量分页问题
    （1）没有where语句
    分页查询，查询表ID，使用主键索引，加快查询速度
    （2）有where语句
    创建符合索引，where条件和id，查询只查复合索引字段
    如果id是自动增长的数字类型的，可以使用条件过滤，过滤后再分页

  2. 多表联查的数据量分页问题
    遵守单表分页的规则，单表先查询分页后联表

二、索引的建立
1、单索引： 适合建在where条件只有一个的，或联表查询的字段上
2、联合索引：多个条件查询，单索引识别度低的时候，最好使用联合索引

李二大眼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据库SQL优化大总结之百万级数据库优化方案
01-27
【数据库SQL优化大总结之百万级数据库优化方案】 在处理大规模数据库时，SQL优化显得尤为重要，因为这直接影响到系统的性能和响应速度。以下是一些关键的优化策略： 1. **索引策略**：针对`WHERE`和`ORDER BY`涉及...
SQL数据库优化大总结之百万级数据库优化方案
12-15
SQL数据库优化是提升系统性能的关键环节，特别是在处理百万级乃至更大规模数据的场景下。本文主要针对Oracle数据库，但很多原则同样适用于其他SQL数据库系统，如MySQL和SQL Server。以下是一些关键的优化策略： 1. ...
大数据之SQL优化
june_young_fan的博客
10-26 2261
在日常工作中，数据处理和分析在研发、产品和运营等多个领域起着重要的作用。在海量数据处理和分析中，SQL 是一项基础且重要的能力。一个优秀的 SQL Boy 和茶树姑的 SQL 代码除了保持简单、可读和易于维护的样式风格外，还需要具备良好的执行性能，准确且高效的计算出结果才能让你在工作中决胜于千里之外。计算资源量（CPU，内存，网络等）；计算数据量（输入和输出的记录数）；计算复杂度（业务逻辑复杂程度和对应的 SQL 实现和执行）。
大数据最新大数据计算，如何优化SQL _聚合函数 sum 耗时(2)，2024年最新大数据开发开发必须会的技能
最新发布
2401_84183726的博客
05-15 371
select a,c,avg(y),min(z) group by a,c where …left join shipper sh on o.shid=sh.# --订单表运货商号通过序号#关联运货商表。left join employee e on o.eid=e.# --订单表的雇员编号通过序号#关联雇员表。select c,d,max(y) group by c,d where …left join city c on o.cid = c.# --订单表的城市编号通过序号#关联城市表。
大数据SQL如何优化结合代码细节
qq_35216414的博客
07-25 237
大数据SQL查询涉及海量数据的处理，往往会面临数据膨胀和性能问题。数据膨胀是指在SQL查询过程中，由于数据量庞大，导致查询速度变慢和资源消耗增加。针对这些问题，可以采取一系列优化措施来提高查询性能和降低资源消耗。在大数据环境下，数据库表的设计要尽量简洁合理，避免冗余字段和过多的联接操作。使用合适的数据类型和索引，以提高查询效率。对大数据表进行分区和分片，将数据划分成更小的数据块，可以提高查询性能，减少查询数据量。创建适当的索引，根据查询需求进行索引优化。避免过多的索引和频繁的更新操作，以免影响性能。
SQL优化思路大全
weixin_33743661的博客
07-19 1997
一、百万级数据库优化方案1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null最好不要给数据库留NULL，尽可能的使用 NOT NULL填充数据库.备注、描述、评论之...
SQL 高性能查询优化语句
激情成就梦想
01-20 761
<br /><br />保证在实现功能的基础上，尽量减少对数据库的访问次数；通过搜索参数，尽量减少对表的访问行数,最小化结果集，从而减轻网络负担；能够分开的操作尽量分开处理，提高每次的响应速度；在数据窗口使用SQL时，尽量把使用的索引放在选择的首列；算法的结构尽量简单；在查询时，不要过多地使用通配符如 SELECT * FROM T1语句，要用到几列就选择几列如：SELECT COL1,COL2 FROM T1；在可能的情况下尽量限制尽量结果集行数如：SELECT TOP 300 COL1,COL2,COL
oracle数据库sql的优化总结
12-16
- 提前执行子查询能减少主查询的数据量，降低资源消耗。 5. **`SELECT`语句中避免使用`*`**： - 使用列名代替`*`可以减少不必要的列处理，特别是当表有大量列但只需要其中一部分时。 6. **频繁使用`COMMIT`**： ...
SQL 优化经验总结34条
09-11
在SQL*Plus、SQL*Forms和Pro*C中增大ARRAYSIZE参数，可以增加每次数据库访问的数据量，减少网络传输和数据库交互的次数。 6. **使用DECODE函数**： DECODE函数可以减少重复扫描和连接，尤其是在处理多条件判断时...
SQL大数据量查询的优化
Java海洋
10-12 1万+
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select
如何优化大数据量Sql的几点建议
06-23
当我们面对大数据量处理时，往往会陷入许多误区； 不良的SQL往往来自于不恰当的索引设计、 不充份的连接条件和不可优化的where子句。 在对它们进行适当的优化后，其运行速度有了明显地提高！ 下面我将从这三个方面分别进行总结：
SQL性能分析工具
05-24 1241
考虑到处理数据一定要结合数据库自身实际，此篇就先从常用的辅助性能分析工具说起，SQL Server Profiler，性能计数器，执行计划，SQL Prompt等工具，也许平时都正在应用，下边结合自身使用进行介绍。 SQL Server Profiler     SQL Server提供的监控工具，在运行命令中输入“profiler”,也可以打开。此工具重点是监控在指定服务器上执行的S
SQL千万级大数据量查询优化
yanghao0571的博客
02-25 2476
转发自：https://blog.csdn.net/long690276759/article/details/79571421?spm=1001.2014.3001.5506* (防止查询资料找不到来源，很详细!!!支持原创,本人只是搬运工)
数据库大数据量的优化方案
zhiyikeji的博客
03-04 1万+
在系统开发的初期以及使用的初期，一般不会太过于在意数据库的设计以及sql语句的优化，这就会导致系统有可能在日积月累的海量数据下越来越慢直至崩溃，所以以后在系统 数据库设计之初完备的数据库模型的设计是必须的。 优化数据库方案 对于数据库的的优化此处给出三种优化方案： 1.优化现有mysql数据库 优点：不影响现有业务，源程序不需要修改代码，成本最低 缺点：有优化瓶颈，数据量过亿就无法继续支撑相应的业务 2.升级数据库类型，换一种100%兼容mysql的数据库 优点：不影响现有业务，源程序不需要修改代码，你几
数据库SQL优化大总结之 百万级数据库优化方案
热门推荐
帅性而为1号的博客
06-23 15万+
网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。 这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。   1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 w
SQL 大数据查询如何进行优化？
霍城延的随笔
03-06 381
1. 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索 来看一个Sql: 首先考虑下，如果这个表有100条数据，200条，2万。 这样也许没有问题。但是如果 20万，200万，两千万那？ select * from userInfo; 2. 应尽量避免在 where 子句中对字段进行 null 值判断...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值