sql查询，not in 过滤条件太多，查询效率低怎么办？

已于 2022-11-15 11:44:51 修改
阅读量6.6k 收藏 1
点赞数 2
分类专栏： 疑问 文章标签： sql
于 2018-08-21 15:48:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangsen251024/article/details/81908923
版权

场景：
一个信息表，有1000万条数据，字段包括，ID、标题、内容、浏览次数；
一个用户表，里面有 A B C 三个用户 其中 A用户浏览过 500万条信息；B用户浏览过200万；C用户浏览过700万；
一个用户浏览记录表， 存放A 浏览过的记录
现在要做个分页，查询浏览次数大于 100 并且 A 未浏览过的 信息
SQL 怎么写才高效？
常规写法：
select * from  信息表 where 浏览次数>100 and ID not in (xx,xx1,xx2...xx500万)；

yangsen251024
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MySQL使用Not in查询效率慢的优化
小小渔夫
12-13 1902
问题复盘，在查询某个数据不在另一个表中，查询时间非常慢，10几秒。究其原因not in不走索引。那么怎么解决优化呢，下面是简单记录。
pandas 像SQL一样使用WHERE IN查询条件说明
09-16
主要介绍了pandas 像SQL一样使用WHERE IN查询条件说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
多个字段的in 和 not in 及其替代写法（exists，not exists）
mok的专栏
01-07 7万+
首先声明：数据库高手请走开，您看了碍眼啊！ 有些时候进行查询的时候啊，一个字段的in、 not in根本不能满足要求，非常需要类似多个字段的in、not in，但是很多数据库不支持多个字段的in、 not in （DB2是支持的）,估计也让不少朋友们郁闷吧!不过没关系，我这不写文章了嘛，呵呵！ 我用过的数据库有Access，SQL Server，DB2，见笑见笑啊！其实也就SQL Server...
SQL 中的 in 与 not in、exists 与 not exists 的区别以及性能分析
最新发布
2401_83621661的博客
04-01 945
阿里伤透我心，疯狂复习刷题，终于喜提offer 哈哈~好啦，不闲扯了1、JAVA面试核心知识整理（PDF）：包含JVMJAVA集合JAVA多线程并发，JAVA基础，Spring原理微服务，Netty与RPC，网络，日志，ZookeeperKafkaRabbitMQ，Hbase，MongoDB设计模式负载均衡数据库一致性哈希JAVA算法数据结构，加密算法，分布式缓存，Hadoop，Spark，Storm，YARN，机器学习，云计算共30个章节。2、Redis学习笔记及学习思维脑图。
SQL优化——避免使用Not IN
zxu_1995的博客
09-04 3万+
对于有一定数据量的表，使用 IN 和Not IN往往效率很低 在项目中遇到这样一个问题： 原来表中有7000多条数据，日常查询、跑应用都很流畅，而当数据量增加到3w条左右时，运行速度慢到无法忍受。 经过简单排查，将问题定位在了一条使用 Not IN 进行查询的sql语句上： SELECT * FROM tb_case WHERE SYMBOL!= 9 AND CASENO NOT I...
SQL，查询条件中IN的内容过多效率低进行优化
qq_23030337的博客
06-26 4022
其中要注意的是，因为业务部署使用的是分布式部署，有多个节点，要保证每个临时表在多个节点下也是唯一的。这里采用的方式是使用节点ip+port+IdUtil.objectId()【也可以使用雪花参数，但还是要加上IP与端口才能保持唯一】业务实施过程中，查询分页数据很慢，后定位到是in的数据过多，导致查询很慢。使用临时表解决，将数据插入到一临时表中，再将临时表与查询主表进行join。1、新建临时表xml, 包含创建临时表、临时表新增数据、drop临时表。原SQL（当数组ids的数值过多时，查询效率很慢）
MYSQL的IN查询效率慢的问题
一瓢西湖水的博客
07-09 2392
当然在in的字段添加了索引的情况下，最终in走不走索引由mysql 优化执行器去判断，此底层逻辑较为复杂，但是在笔者的条件下，in的取值范围限制在10000条以内时，将走索引。
为什么说SQL语句中使用IN性能不高？
左直拳的马桶_日用桶
11-01 7569
因为本质上in就是多个=，用or连接起来。 同事写了一条SQL语句，我一看，哦买糕的，居然用了4层嵌套的in。 SELECT * FROM "publicDB"."system_action" WHERE ACTION_ID IN( SELECT ACTION_ID FROM "publicDB"."system_action_role" WHERE ROLE_ID IN ( SELECT ROLE_ID FROM "publicDB".base_role_user
mysql not in 或 in 优化
敲键盘的猫
08-10 1914
在MySQL 中，not in 或in 优化思路， 利用left join 来优化，类似如下的查询方式: select id from a where id in (select id from b )如这样的查询方式，在大数据量的情况下，查询很慢，需要改写优化sql，那么就可以用left join来优化改写如下格式： select id from a left join b o
SQL优化
not_in_mountain的博客
09-27 330
原文：http://database.51cto.com/art/201407/445934.htm 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num i
sql语句 not in ，not exists 多列查询写法
灵活的钱辰昌。
07-22 3950
废话不多说，直接上语句。 1.not in 写法： select * from table where (field1,field2,field3) not in (select field1,field2,field3 from table) 2.in 写法：把上述例子中的 not in 换成 in 即可。 3.not exists 写法： select * from table ...
SqlServer 巧妙解决多条件组合查询
09-11
开发中经常会遇得到需要多种条件组合查询的情况，比如有三个表，年级表Grade(GradeId,GradeName)，班级Class(ClassId,ClassName,GradeId)，学员表Student(StuId,StuName,ClassId)，现要求可以按年级Id、班级Id、学生...
SQL多条件联合查询.txt
06-18
SQL同一个表不同条件两个SUM两个count查询结果一次查询并显示
JPA多条件复杂SQL动态分页查询功能
08-25
主要介绍了JPA多条件复杂SQL动态分页查询功能，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
将string数组转化为sql的in条件用sql查询
01-19
这样我就可以用sql查询：select * from tableName id in （字符串）了。 项目中实现的源码如下： 代码如下: StringBuffer idsStr = new StringBuffer(); for (int i = 0; i < ids> 0) { idsStr.append(“,”); } ...
SQL优化 —— in与not in
张之海的博客
05-30 2万+
文章从三方面介绍：查询集合，查询出错率，查询效率。总结出两点： in后的查询集合不确定 例如in (select…)，应判断内查询与外查询的关系。当内查询的表小时（小于外查询的表），用in效率高。当外查询的表小时（小于内查询的表），用exists效率高。（因为in 先执行内查询，再执行外查询；而 exists先执行外查询再执行内查询） in后的查询集合是确定且有限 集合内的值连续时，应尽可能使用...
sql查询遇到关于 not in 的一个问题
weixin_54363295的博客
10-29 336
本来用的是not in 数据少还好点，数据多了查询效率低，而且出现未知问题，最后改用not EXISTS 网上找的示例是 select * from t1 where phone not in (select phone from t2) 改为 select * from t1 where not EXISTS (select phone from t2 where t1.phone =t2.phone) 我修改的代码是 SELECT openbyself4.employee_id2 AS employ
数据库--SQL性能优化 - 避免使用 IN 和 NOT IN
Roeya的博客
11-11 878
WHY？ IN 和 NOT IN 是比较常用的关键字，为什么要尽量避免呢？ 1、效率低 可以参看我之前遇到的一个例子（[小问题笔记（九）] SQL语句Not IN 效率低，用 NOT EXISTS试试） 2、容易出现问题，或查询结果有误 （不能更严重的缺点） 以 IN 为例。建两个表：test1 和 test2 create table test1 (id1 int) create table t...
SQL优化 - 避免使用 IN 和 NOT IN
热门推荐
琦彦
10-19 10万+
WHY？ IN 和 NOT IN 是比较常用的关键字，为什么要尽量避免呢？ 1、效率低  项目中遇到这么个情况： t1表 和 t2表  都是150w条数据，600M的样子，都不算大。 但是这样一句查询 ↓ select * from t1 where phone not in (select phone from t2)
sql语句多条件批量查询in
06-10
你可以使用 `IN` 关键字来进行多条件批量查询。以下是一个示例 SQL 语句： ``` SELECT * FROM table_name WHERE column_name IN (value_1, value_2, ..., value_n); ``` 在这个语句中，`table_name` 是你要查询的表的名称，`column_name` 是你要匹配的列的名称，`value_1` 到 `value_n` 是你要匹配的值。 例如，如果你要查询一个名为 `users` 的表中 `age` 列等于 18、20 或 25 的所有行，你可以使用以下 SQL 语句： ``` SELECT * FROM users WHERE age IN (18, 20, 25); ``` 这将返回所有符合条件的行。如果你想要更多的条件，只需添加更多的值到 `IN` 子句中即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值