接口时延超高，记录自己的一次性能调优

最新推荐文章于 2024-07-17 10:44:04 发布
置顶 最新推荐文章于 2024-07-17 10:44:04 发布
阅读量870 收藏 1
点赞数 2
分类专栏： 调优
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/early_or_later/article/details/106104799
版权
本文记录了一次性能调优的过程，针对接口时延问题，通过缩短定时任务间隔、优化数据处理方式、调整ES查询策略、代码内部优化、线程池批处理等措施，成功将1000条数据处理时间从194秒降低到11秒，性能提升了19倍。文中还探讨了可能的进一步优化方案。
摘要由CSDN通过智能技术生成

初始状态：

arthas查看任务时间： 1000条数据处理了194秒，性能较差，吞吐量在 5条/s，尴尬，194秒！！！

arthas命令：trace -E cn.migu.deal.pori.....SubscribeFlowRecordTask auditSubFlowRecord 

 

优化点1：

 定时任务间隔原先配置为 

@Scheduled(initialDelay = 30000,fixedDelayString ="60000")

将fixedDelayString 时间优化为 1000 由 60秒间隔，缩短为1秒间隔，提高定时任务执行频率

优化点2：

  任务前期，防止出现数据被重复稽核的情况，主线程设置为同步处理，处理速度较慢，优化为异步

  考虑点： 1、避免重复消费问题 提出方案：

                       方案一：按照时间排序，记录上次任务执行时间，下一次查询时，时间大于等于上次查询时间

                                     同时设置缓存，缓存上次消费的所有的记录id&#x

最低0.47元/天 解锁文章
early_or_later
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一次接口时延优化与其中的思考
VitaminX181的博客
06-03 1859
好玩的点 3.3 explain 3.5 对象大小 3.6.1 使用具体字段+覆盖索引 4 额外优化-TLAB 1. 背景 用户查询三个月内会议记录时，返回结果的平均时延高达三四秒。 1.1 优化目标 降低接口时延，响应时间要在200ms以内 优化有三个维度：分别是吞吐量、时延、系统容量。 吞吐量：指的是单位时间内系统能完成多少操作 时延：指的是操作的响应时间，比如说搜索商品的结果必须在200ms内展示给用户 系统容量：指的是在吞吐量和时延达标的情况下，对硬件环境的额外约束 1.2 涉及优化点
一次服务端大面积接口响应时间骤增问题排查
wenyixicodedog的博客
03-19 6085
1. 有时候即使沟通其他部门，查看他们的接口耗时情况，即使他们的接口耗时正常，但是，也并不一定就表示是我们的问题，有可能问题出在网络链路中(nginx等)。 2. http调用重试机制还是要根据具体的业务场景进行使用，不能盲用。 3. 接口耗时超时时间要度量好，不宜过大不宜过短。 4. 问题排查要仔细而全面，不能放过任何蛛丝马迹，在没有确定证据之前不能想当然判定哪里有问题或者决定一个想法，一旦确定问题，处理要果断。
我用这11招，让接口性能提升了100倍
最新发布
java_2017_csdn的博客
07-17 134
接口性能优化对于从事后端开发的同学来说，肯定再熟悉不过了，因为它是一个跟开发语言无关的公共问题。该问题说简单也简单，说复杂也复杂。有时候，只需加个索引就能解决问题。有时候，需要做代码重构。有时候，需要增加缓存。有时候，需要引入一些中间件，比如mq。有时候，需要需要分库分表。有时候，需要拆分服务。等等。。。导致接口性能问题的原因千奇百怪，不同的项目不同的接口，原因可能也不一样。本文我总结了一些行之有效的，优化接口性能的办法，给有需要的朋友一个参考。
是什么影响了我的接口延迟
Seekload
07-30 299
之前在做性能优化分享的时候，经常会说接口延迟大幅上升时，应该先去看看 pprof 里的 goroutine 页面，看看 goroutine 是不是阻塞在什么地方了(比如锁)，如果确实是这样，那就去解决这个阻塞问题，可以大幅度优化接口的延迟。如果我们只是做工程，知道上面这个简单的结论就可以了，最近在一个中年人技术群里，一位前同事问了这么个问题，《Systems Perfor...
调第三方接口如果长时间不响应，使用线程池处理
weixin_43816280的博客
12-26 854
调第三方接口如果长时间不响应，使用线程池处理 如果执行的逻辑三秒没有返回，抛出 TimeoutException 异常 ExecutorService exec = Executors.newSingleThreadExecutor(); Callable<String> call = new Callable<String>() { @Override public String call() throws Exception { return
Springboot调度任务：基本实现
凡夫编程
12-27 2054
今天给大家分享一下，如何使用springboot快速实现简单的定时调度任务？有两种方法：基于注解的声明式调度任务注册；另外一种是基于实现SchedulingConfigurer的编程式的调度任务注册。
移动云产品工作记录
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
02-02 2761
背景 记录移动云相关理解和记录 初认识 1、移动云全家桶 2、云主机 云主机是一种按需获取的云端服务器，为您提供高可靠、弹性扩展的计算资源服务，您可以根据需求选择不同规格的CPU、内存、操作系统、硬盘和网络来创建您的云主机。云主机从订购到开通使用仅需数分钟时间。云主机服务可用性达到99.95%，云主机备份数据以多副本形式保存，数据可靠性可达99.9999999%。 规格： vCPU / 内存比为1:1、1:2、1:4、1:8，从“1核2G”到“80核1280G”；采用2.3GHz主频的Intel
【ceph】ceph性能分析工具之perf dump代码打点调试统计PerfCounters
小鱼菜鸟的博客
07-22 543
目录 简介 一、查ceph自带的统计 1 命令格式 2 dump 命令输出结果 二、自己添加统计 三、分析案例 io耗时初分析 继续分析 进一步分析 代码修改和验证 四、报错记录 五、附录 1、代码修改和验证 作者:bandaoyu 本文持续更新,源地址：https://blog.csdn.net/bandaoyu/art...
消息中间件之二：kafka详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-02 628
概述 Kafka是一种分布式的，基于发布/订阅的消息系统。 整理中……
分布式存储系统概述（详细、全面）
罗伯特技术屋
06-16 85
【摘要】本文从可靠性、可用性、IO 性能、数据存储效率、安全性、可管理性等多方面对分布式存储系统进行了描述，对希望了解分布式存储系统的读者很有帮助一、 内容总括分布式存储系统是基于分布式架构，由多个软硬件协同的存储节点通过网络互联来提供存储服务的系统。或简言之，分布式存储系统使用分布式的方法来提供存储服务。分布式存储系统首先是存储系统。作为存储存储系统，最基本的需求是提供系统的可靠性和可用性。可靠性是指，用户在存储系统写入的数据不能丢，读取的数据不能错；可用性是指，系统提供的服务不中断。除了可靠性和可用性，
Spring Boot学习笔记
huang_yx005的博客
11-07 271
@Component 最普通的组件，可以被注入到spring容器进行管理 @Repository 作用于持久层 @Service 作用于业务逻辑层 @Controller 作用于表现层（spring-mvc的注解） spring boot Controller返回页面，RestController返回字符串 Controller中的方法如何向页面中传...
spring调度注解@Scheduled（含分布式）
sjzwangxufeng的专栏
05-10 5302
本文主要介绍spring调度注解@Scheduled，以及分布式场景的改造思路。
SpringTask实现定时任务
zzkeung的博客
02-25 413
1.Cron表达式 2.Scheduled其他参数（fixedDelay、fixedRate、initialDelay ） 3.整合SpringTask 4.定时任务 1.Cron表达式 Cron表达式是一个字符串，字符串以5或6个空格隔开，分为6或7个域，每一个域代表一个含义，有如下两种语法格式： 1.Seconds Minutes Hours DayofMonth Mont...
理解 Spring 定时任务的 fixedRate 和 fixedDelay 的区别
热门推荐
一叶不知秋
09-07 4万+
用过  Spring 的 @EnableScheduling 的都知道，我们用三种形式来部署计划任务，即 @Scheduled 注解的 fixedRate(fixedRateString), fixedDelay(fixedDelayString), 以及 cron. cron 不在这里讨论的范畴。我们着重在如何理解 fixedRate 和 fixedDelay 的区别。 在 Spring
Spring定时器配置
sccc0971的博客
06-02 260
spring定时器
spring 定时任务@Scheduled原理解析
yygr的博客
04-22 3258
https://zhuanlan.zhihu.com/p/92768652 官网API定义： An annotation that marks a method to be scheduled. Exactly one of thecron(),fixedDelay(), orfixedRate()attributes must be specified. The annotated method must expect no arguments. It will typically have a
@Scheduled注解各参数详解
idncareo
04-03 313
@Scheduled注解的使用这里不详细说明，直接对8个参数进行讲解。 参数详解 1. cron 该参数接收一个cron表达式，cron表达式是一个字符串，字符串以5或6个空格隔开，分开共6或7个域，每一个域代表一个含义。 cron表达式语法 [秒] [分] [小时] [日] [月] [周] [年] 注：[年]不是必须的域，可以省略[年]，则一共6个域 序号 说明 必填 允许填写的值 ...
fixedRate配置文件，fixedRate动态配置，fixedRateString配置
亲测，只为展现最完美的有效！
09-06 1万+
〇、@Scheduled定时任务有多种配置 其中最常用的应该是 cron spring boot 这样写：@Scheduled(cron = "*/5 * * * * *") # corn表达式 从左到右（用空格隔开）：秒 分 小时 月份中的日期 月份 星期中的日期 年份 用cron 表达式 一大优点就是直观，通用性也强 一、fixed 表达式的介绍 cron 表达式 虽然优点多多，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值