SQL优化--大数据量模糊查询缓慢

最新推荐文章于 2024-08-20 23:58:59 发布
最新推荐文章于 2024-08-20 23:58:59 发布
阅读量5.9k 收藏 6
点赞数
分类专栏： Mysql 文章标签： SQL优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a992795427/article/details/94563896
版权

SQL优化

场景

单表数据量在几十万条的时候，发现对一个中文字段进行模糊查询的时，巨慢，几乎达到了几十秒。

解决

Mysql5.7是有中文的全文索引检索功能。

CREATE FULLTEXT INDEX 索引名 ON 表名 (字段名)  WITH PARSER NGRAM;

具体的模糊查询SQL语句

MATCH(字段名) AGAINST ( CONCAT('+', 传入模糊查询参数, '*') IN BOOLEAN MODE);

参考博客

https://www.jianshu.com/p/c48106149b6a

https://www.yiibai.com/mysql/ngram-full-text-parser.html

等待的萝卜
关注
专栏目录
对于Mysql中‘%%‘模糊查询慢，为了避免全表扫描问题解决办法
qq_40798764的博客
12-17 825
问题： Mysql中’%%'模糊查询慢，进行了全表扫描。 目标： 避免使用’%%’，避免全表扫描，建立索引。 解决办法： 1.首先将你所要模糊查询的字段进行分组。 2.将分好组的字段存入redis,后端通过key获取到所有的value值进行放入List集合，然后通过传过来的模糊字符去List集合中模糊查询，这样查到的就是全字符，（将模糊查询变成精确查询，速度快，利用上了索引。）将每个查到的字符进行...
SQL优化 干货总结
weixin_50998109的博客
07-13 565
1. 尽量避免在字段开头模糊查询，会导致数据库引擎放弃索引进行全表扫描。如下： 优化方式：尽量在字段后面使用模糊查询。如下： 如果需求是要在前面使用模糊查询，2. 尽量避免使用in 和not in，会导致引擎走全表扫描。如下： 优化方式：如果是连续数值，可以用between代替。如下： 如果是子查询，可以用exists代替。 3. 尽量避免使用 or，会导致数据库引擎放弃索引进行全表扫描。如下： 优化方式：可以用union代替or。如下 4. 尽量避免进行null值的判断，会导致
MySQL Like模糊查询速度太慢如何解决
12-14
问题：明明建立了索引，为何Like模糊查询速度还是特别慢？ Like是否使用索引? 　　1、like %keyword 索引失效，使用全表扫描。但可以通过翻转函数+like前模糊查询+建立翻转函数索引=走翻转函数索引，不走全表扫描。 　　2、like keyword% 索引有效。 　　3、like %keyword% 索引失效，也无法使用反向索引。 　　使用mysql的explain简单测试如下： 　　explain select * from company_info where cname like ‘%小%’ 　　explain select * from company_inf
SQL使用模糊查询like的优化
coco3600的博客
05-14 930
SQL使用模糊查询like '%ABC' 和 like '%ABC%'的优化 编辑手记:今天继续学习SQL优化的技巧。感谢刘永甫专家，本文授权转自“老虎...
PostgreSQL大数据量快速模糊检索实践
最新发布
meethigher的博客
08-20 1194
注意： 本文内容于 2024-08-18 23:50:33 创建，可能不会在此平台上进行更新。。
sqlserver查询语句的优化技巧
u011782082的专栏
09-27 1420
SQL Server数据库查询技巧一： 　　问题类型：ACCESS数据库字段中含有日文片假名或其它不明字符时查询会提示内存溢出。 　　解决方法：修改查询语句 　　sql="select * from ada where alice like '%"&abigale&"%'" 改为 sql="select * from ada" rs.filter = "alice like '%"&abig
oracle 模糊查询_MySQL Like模糊查询速度太慢如何解决
weixin_39638801的博客
11-28 910
问题：明明建立了索引，为何Like模糊查询速度还是特别慢？Like是否使用索引?　　1、like %keyword 索引失效，使用全表扫描。但可以通过翻转函数+like前模糊查询+建立翻转函数索引=走翻转函数索引，不走全表扫描。　　2、like keyword% 索引有效。　　3、like %keyword% 索引失效，也无法使用反向索引。　　使用mysql的explain简单测试如下：　　exp...
SQL SERVER 模糊查询的技巧
06-25
自己摘录的SQLSERVER模糊查询的几个小技巧，发出来与大家共享
SQL查询优化
03-21
6. 查询返回的数据量过大，增加了处理和传输的时间。 7. 锁和死锁，可能导致并发访问冲突。 8. 服务器同时处理OLTP（在线事务处理）和OLAP（在线分析处理）查询，资源分配不当。 9. 返回不必要的列，增加了数据传输...
七天搞定SQL2005千万级别数据记录+数据库优化经验+代码优化+索引优化
05-01
《SQL Server 2005优化千万级别数据记录与索引优化实践》 在数据库管理领域，处理千万级别的数据记录是一项...即使在缺乏专业DBA支持的情况下，通过逐步分析和实践，也能有效提升系统的处理能力，应对大数据量的挑战。
（2022年最新版本）SQL优化最杆货总结 - MySQL
m0_68850571的博客
04-12 551
前言 BATJTMD等大厂的面试难度越来越高，但无论从大厂还是到小公司，一直未变的一个重点就是对SQL优化经验的考察。一提到数据库，先“说一说你对SQL优化的见解吧？”。SQL优化已经成为衡量程序猿优秀与否的硬性指标，甚至在各大厂招聘岗位职能上都有明码标注，如果是你，在这个问题上能吊打面试官还是会被吊打呢？ （注:如果看着模糊，可能是你撸多了） 有朋友疑问到，SQL优化真的有这么重要么？如下图所示，SQL优化在提升系统性能中是：（成本最低 && 优化效果最明显） 的途径。如果你
sql 模糊查询
12-12
sql 模糊查询.
转：SQL多条件模糊查询解决方案(类似百度搜索)
总有一天，你的日积月累，会成为别人的望尘莫及
12-21 1784
原文转载自：http://blog.csdn.net/yangyuankp/article/details/8085514   前言：算法的基本特性在前几篇博客中已经做了详细的说明，经过不断的改进优化，到归仓的时候了，也就是说，该算法告一段落，不再更新。作为最终的解决方案，简要的总结一下算法特性，以方便读者参阅。       目的：主要用于多条件模糊匹配。贪婪特性：返回满足条件尽可能多的记录...
SQLserver模糊查询
天高任鸟飞
04-24 1485
SQLserver模糊查询           考试的后台监控中，查询考生的登录情况，模糊查询考生信息。           对于根据查询出来的该考试、考场或者班级的所有考生信息，从中进行模糊查询，可以模糊匹配学号、姓名、状态、学院或者专业信息。           首先，前台将用户输入的字符串传到后台。           代码如下
一、Sql Server SQL查询优化方法
程序员思维的博客
11-08 4713
Sql Server SQL查询优化方法
SQL Server查询优化方法
cxu123321的博客
03-27 390
SQL Server查询优化方法 查询速度慢的原因很多，常见如下几种 　　1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷) 　　2、I/O吞吐量小，形成了瓶颈效应 　　3、没有创建计算列导致查询不优化 　　4、内存不足 　　5、网络速度慢 　　6、查询出的数据量过大（可以采用多次查询，其他的方法降低数据量） 　　7、锁或者死锁(这也是查询慢最常见的问题，是程序设计的缺陷...
【SQL Server性能优化】运用SQL Server的全文检索来提高模糊匹配的效率
weixin_30357231的博客
09-04 313
今天去面试，这个公司的业务需要模糊查询数据，之前他们通过mongodb来存储数据，但他们说会有丢数据的问题，我从业务上了解到，显然对他们公司而言，丢数是绝对不能允许的。 另外，他们说之前也用过SQL Server的全文检索，但速度不够快，不如用mongodb快，当然我不太清楚他们所谓快的具体定义，比如查询只需要1秒，还是1分钟。他们的系统现在采用的是SQL Server，通过复制来实现高可...
最近项目中的一次SQL查询数据缓慢优化的一点总结
jike11231的博客
02-17 804
当数据量增多之后，多表关联查询，又增加了模糊查询条件，导致查询缓慢，由于是微服务项目，服务之间调用超时，从而引起连接超时异常，导致服务不可用！ 一、优化方案 1、将SQL拆分、分2次查询 2、将两次查询的结果，重新进行封装组合 原始SQL如下 <select id="getUserGroupPage" resultType="com.xxx.service.api.response.CmsUserGroupResp"> select
SQL Server 数据表模糊查询（like 用法）以及查询函数
wanganqiqi的博客
01-21 8346
SQL Server 数据表模糊查询（like用法）以及一些查询函数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值