接口压测_最近做了一个搜索接口的优化,反复压测了四次,终于达到要求了

本文讲述了作者对一个搜索接口进行优化的过程,通过四次压测,最终达到响应时间100ms以内的目标。优化措施包括调整OpenSearch配置、减少数据库查询、批量操作缓存以及使用RedisTemplate的executePipelined。总结了接口优化的12个要点,强调避免循环查询、合理使用缓存、监控工具的重要性等。
摘要由CSDN通过智能技术生成

点击上方蓝色字体,选择“设为星标”

回复”666“获取面试宝典

5108f74857f884acb390493451fe0ef8.png

从OpenSearch中检索出数据,然后各种填充组装数据,最后返回。

逻辑看似很简单,当初我也是这样认为的,于是预估5天完成,最后前前后后开发、联调、改bug直到上线差不多花了10天(当然这10天并不是只做这一件事情)。

复杂在于影响返回结构的因素很多,排除问题需要检查配置、检查数据库、检查缓存、检查OpenSearch、检查代码。

言归正传,不管逻辑有多复杂,都不是你逃避问题的接口,更不是你不去优化的理由,这不是本文的重点,优化过程才是。

要求,给APP提供的接口一般要求响应时间在100ms以内。

第一次压测

650254a949899c7a36fa7db92c8696d9.png

惨不忍睹,平均响应时间150ms,而且在这次压测过程中还发现其它的问题,后台报错,经查是OpenSearch每秒查询次数限制

优化代码与配置

1、修改OpenSearch配置,并且将压测环境中的OpenSearch连接地址改为内网地址。

2、将代码中循环查询缓存的地方改为一次性批量查询返回。

3、和相关同学确认后去掉项目中无用的代码。

第二次压测

a715b5afc96385b4c5c32b14da0203a8.png

虽然优化了代码,修改了配置,但是情况更糟糕了,而且还改出了新的问题。

当时,反复检查了代码,确定查询缓存的次数已经是最少了,而且连接线程池相关参数也调到一个相对较大且合理的值了。

如果,再压测还是无法达到要求的话,只有出最后一招了:缓存结果集。

即,以用户ID和用户搜索的关键词为key,查询的结果为value,缓存5分钟。

第三次压测

4a57312cb7fb6966657af0b0b60c86a5.png

总算符合要求了,并发60的时候响应时间达到32ms,而我又发现了新的优化点。

fc481d4a3558785c739abf78ad587018.png

接口中居然还有查数据库的操作,这可不能忍,排查之后去掉了一些不必要的依赖。

成长

学会了使用RedisTemplate的executePipelined进行redis批量查询

a7a7f5fcae834834a17f34fbe746058d.png

针对本次优化的总结

1、一定要绝对避免循环查数据库和缓存(PS:循环里面就不能有查询缓存,更不能有查询数据库的操作,因为循环的次数没法控制);

2、对于API接口的话,一般都是直接查缓存的,没有查数据库的;

3、多用批量查询,少用单条查询,尽量一次查出来;

4、对于使用阿里云,要留意一下相应产品的配置,该花的钱还是得花,同时,千万要记得正式环境中使用相应产品的内网地址;

5、注意连接池大小(包括数据库连接池、Redis缓存连接池、线程池);

6、压测的机器上不要部署其它的服务,只跑待压测的服务,避免受其它项目影响;对于线上环境,最好一台机器上只部署一个重要的服务;

7、没有用的以及被注释掉的代码,没有用的依赖最好及时清理掉;

8、集群自不用说;

9、一些监控类的工具工具可以帮助我们更好的定位问题,比如链路跟踪,这次项目中使用了PinPoint;

10、如果技术上优化的空间已经非常小了,可以试着从业务上着手,用实际的数据说话,可以从日常的访问量,历史访问量数据来说服测试;

11、每一次代码改动都有可能引入新的问题,因此,每次修改代码后都要回归测试一下(PS:每次修改完以后,我都会用几组不同的关键词搜索,然后比对修改前和修改后返回的数据是否一致,这个时候postman,以及Beyond compare就派上用场了);

12、关键的地方一定要多加点儿日志,方便以后排除问题,因为排查线上问题最主要还是靠日志;

来源 | https://urlify.cn/uuYJvi 071e66b96b2946693a5b5929dbda9e93.gif
  • 面试官问:MySQL的自增ID用完了,怎么办?

  • ArrayList插入1000w条数据之后,我怀疑了jvm...

  • 蚂蚁二面,面试官问我零拷贝的实现原理,当场懵了…

625f58eedeef77ad8eaea7a96f02e75a.png

最近面试BAT,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

明天见(。・ω・。)ノ♡
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值