springboot web项目,百万级数据查询的优化

本文介绍了如何优化SpringBoot web项目的百万级数据查询,包括为查询字段建立索引,避免使用LIKE '%...' 模糊查询,改用全文搜索。推荐使用MyISAM引擎提升查询速度,但牺牲事务支持。避免使用Mybatis分页插件,而采用Redis缓存,一次性加载所有数据并进行客户端分页,首次查询约2-3s,后续查询1s内完成。文章还提供了Redis的相关操作命令。
摘要由CSDN通过智能技术生成

数据库部分

  1. 对需要进行查询的字段建立索引,where语句中如果有2个字段,则对该两个字段进行建立联合索引;

  2. 如果有模糊查询,尽量不使用like % 这种模式,这种会忽略索引,使用全文搜索,可以使用location进行模糊查询

  3. 修改数据库的引擎,如果只是大部分进行查询,没有大规模的修改等操作,可以用MyISAM引擎,这种引擎对数据库的插入以及查询操作特别快,但是不支持事务,常规的InnoDB引擎可以支持事务,但是相应的插入以及查询的速度就慢下来了

使用redis数据库

  1. 记住不要使用mybatis的分页插件,因为经过测试,mybatis的分页插件中使用了count(0)语句统计所有的查询的数量,这个语句严重拖慢了查询的速度,大概有3-5s的时间,这个不能忍。

  2. 使用redis数据库,一次查询出所有的结果,并将结果放入redis数据库中,在control界面进行分页,使用list进行分页,每次从list中取出一页的内容,传到web页面;记住,不能一次将所有的数据全部传入web界面,这样web界面的响应加载时间会特别长,速度非常慢;这样做,第一次查询的时间大概2-3s,但是翻页的结果是直接从redis数据库中取的,所以响应时间特别快。

  3. 使用redis数据库,需要设置redis数据库的大小,当所需内存超过最大的maxmemmory的时候,将配置maxmemory-policy 的设置改为allkeys-lru

  4. </
  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值