背景
公司有个渠道系统,专门对接三方渠道使用,没有什么业务逻辑,主要是转换报文和参数校验之类的工作,起着一个承上启下的作用。
最近在优化接口的响应时间,优化了代码之后,但是时间还是达不到要求;有一个诡异的 100ms 左右的耗时问题,在接口中打印了请求处理时间后,和调用方的响应时间还有差了 100ms 左右。比如程序里记录 150ms,但是调用方等待时间却为 250ms 左右。
下面记录下当时详细的定位 & 解决流程(其实解决很简单,关键在于怎么定位并找到解决问题的方法)。
定位过程
1. 分析代码
渠道系统是一个常见的 Spring-boot web 工程,使用了集成的 tomcat。分析了代码之后,发现并没有特殊的地方,没有特殊的过滤器或者拦截器,所以初步排除是业务代码问题。
2. 分析调用流程
出现这个问题之后,首先确认了下接口的调用流程。由于是内部测试,所以调用流程较少。
Nginx -反向代理-> 渠道系统
公司是云服务器,网络走的也是云的内网。由于不明确问题的原因,所以用排除法,首先确认服务器网络是否有问题。
先确认发送端到 Nginx Host 是否有问题:
[jboss@VM_0_139_centos ~]$ ping 10.0.0.139
PING 10.0.0.139 (10.0.0.139) 56(84) bytes of data.
64 bytes from 10.0.0.139: icmp_seq=1 ttl=64 time=0.029 ms
64 bytes from 10.0.0.139: icmp_seq=2 ttl=64 time=0.041 ms
64 bytes from 10.0.0.139: icmp_seq=3 ttl=64 time=0.040 ms
64 bytes from 10.0.0.139: icmp_seq=4 ttl=64 time=0.040 ms
从 ping 结果上看,发送端到 Nginx 主机的延迟是无问题的,接下来查看 Nginx 到渠道系统的网络。
# 由于日志是没问题的,这里直接复制上面日志了
[jboss@VM_0_139_centos ~]$ ping 10.0.0.139
PING 10.0.0.139 (10.0.0.139) 56(84) bytes of data.
64 bytes from 10.0.0.139: icmp_seq=1 ttl=64 time=0.029 ms
64 bytes from 10.0.0.139: icmp_seq=2 ttl=64 time=0.041 ms
64 bytes from 10.0.0.139: icmp_seq=3 ttl=64 time=0.040 ms
64 bytes from 10.0.0.139: icmp_seq=4 ttl=64 time=0.040 ms
从 ping 结果上看,Nginx 到渠道系统服务器网络延迟也是没问题的。
既然网络看似没问题,那么可以继续排除法,砍掉 Nginx,客户端直接再渠道系统的服务器上,通过回环地址(localhost)直连,避免经过网卡/dns,缩小问题范围看看能否复现(这个应用和地址是我后期模拟的,测试的是一个空接口):
[jboss@VM_10_91_centos tmp]$ curl -w "@curl-time.txt" http://127.0.0.1:7744/send
success
http: 200
dns: 0.001s
redirect: 0.000s
time_connect: 0.001s
time_appconnect: 0.000s
time_pretransfer: 0.001s
time_starttransfer: 0.073s
size_download: 7bytes
speed_download: 95.000B/s
----------
time_total: 0.073s 请求总耗时
从 curl 日志上看,通过回环地址调用一个空接口耗时也有 73ms。这就奇怪了,跳过了中间所有调用节点(包括过滤器 & 拦截器之类),直接请求应用一个空接口,都有 73ms 的耗时,再请求一次看看:
[jboss@VM_10_91_centos tmp]$ curl -w "@curl-time.txt" http://127.0.0.1:7744/send
success
http: 200
dns: 0.001s
redirect: 0.000s
time_connect: 0.001s
time_appconnect: 0.000s
time_pretransfer: 0.001s
time_starttransfer: 0.003s
size_download: 7bytes
speed_download: 2611.000B/s
----------
time_total: 0.003s
更奇怪的是,第二次请求耗时就正常了,变成了 3ms。经查阅资料,linux curl 是默认开启 http keep-alive的(Keep-Alive 的介绍可以参考我的另一篇文章)。就算不开启 keep-alive,每次重新 handshake,也不至于需要 70ms。
经过不断分析测试发现,连续请求的话时间就会很短,每次请求只需要几毫秒,但是如果隔一段时间再请求,就会花费 70ms 以上。
从这个现象猜想,可能是某些缓存机制导致的,连续请求因为有缓存,所以速度快,时间长缓存失效后导致时间长。
那么这个问题点到底在哪一层呢?tomcat 层还是 spring-webmvc 呢?
光猜想定位不了问题,还是得实际测试一下,把渠道系统的代码放到本地 IDE 里启动测试能否复现。
但是导入本地 IDE 后,在 IDE 中启动后并不能复现问题,并没有 70+ms 的延迟问题。这下头疼了,本地无法复现,不能 Debug,由于问题点不在业务代码,也不能通过加日志的方式来 Debug。
这时候可以祭出神器 Arthas 了。
3. Arthas 分析问题
Arthas 是 Alibaba 开源的 Java 诊断工具,深受开发者喜爱。当你遇到以下类似问题而束手无策时,Arthas 可以帮助你解决:
- 这个类从哪个 jar 包加载的?为什么会报各种类相关的 Exception?
- 我改的代码为什么没有执行到?难道是我没 commit?分支搞错了?
- 遇到问题无法在线上 debug,难道只能通过加日志再重新发布吗?
- 线上遇到某个用户的数据处理有问题,但线上同样无法 debug,线下无法重现!
- 是否有一个全局视角来查看系统的运行状况?
- 有什么办法可以监控到 JVM 的实时运行状态?
- ······
上面是 Arthas 的官方简介,这次我只需要用他的一个小功能 trace。动态计算方法调用路径和时间,这样就可以定位时间在哪个地方被消耗了。
trace 方法内部调用路径,并输出方法路径上的每个节点上耗时。trace 命令能主动搜索 class-pattern/method-pattern 。
对应的方法调用路径,渲染和统计整个调用链路上的所有性能开销和追踪调用链路。
有了神器,那么该追踪什么方法呢?由于我对 Tomcat 源码不是很熟,所以只能从 spring mvc 下手,先来 trace 一下 spring mvc 的入口:
[arthas@24851]$ trace org.springframework.web.servlet.DispatcherServlet *
Press Q or Ctrl+C to abort.
Affect(class-cnt:1 , method-cnt:44) cost in 508 ms.
`---ts=2019-09-14 21:07:44;thread_name=http-nio-7744-exec-2;id=11;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@7c136917
`---[2.952142ms] org.springframework.web.servlet.DispatcherServlet:buildLocaleContext()
`---ts=2019-09-14 21:07:44;thread_name=http-nio-7744-exec-2;id=11;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@7c136917
`---[18.08903ms] org.springframework.web.servlet.DispatcherServlet:doService()
+---[0.041346ms] org.apache.commons.logging.Log:isDebugEnabled() #889
+---[0.022398ms] org.springframework.web.util.WebUtils:isIncludeRequest() #898
+---[0.014904ms] org.springframework.web.servlet.DispatcherServlet:getWebApplicationContext() #910
+---[1.071879ms] javax.servlet.http.HttpServletRequest:setAttribute() #910
+---[0.020977ms] javax.servlet.http.HttpServletRequest:setAttribute() #911
+---[0.017073ms] javax.servlet.http.HttpServletRequest:setAttribute() #912
+---[0.218277ms] org.springframework.web.servlet.DispatcherServlet:getThemeSource() #913
| `---[0.137568ms] org.springframework.web.servlet.DispatcherServlet:getThemeSource()
| `---[min=0.00783ms,max=0.014251ms,total=0.022081ms,count=2] org.springframework.web.servlet.DispatcherServlet:getWebApplicationContext() #782
+---[0.019363ms] javax.servlet.http.HttpServletRequest:setAttribute() #913
+---[0.070694ms] org.springframework.web.servlet.FlashMapManager:retrieveAndUpdate() #916
+---[0.01839ms] org.springframework.web.servlet.FlashMap:<init>() #920
+---[0.016943ms] javax.servlet.http.HttpServletRequest:setAttribute() #920
+---[0.015268ms] javax.servlet.http.HttpServletRequest:setAttribute() #921
+---[15.050124ms] org.springframework.web.servlet.DispatcherServlet:doDispatch() #925
| `---[14.943477ms] org.springframework.web.servlet.DispatcherServlet:doDispatch()
| +---[0.019135ms] org.springframework.web.context.request.async.WebAsyncUtils:getAsyncManager() #953
| +---[2.108373ms] org.springframework.web.servlet.DispatcherServlet:checkMultipart() #960
| | `---[2.004436ms] org.springframework.web.servlet.DispatcherServlet:checkMultipart()
| | `---[1.890845ms] org.springframework.web.multipart.MultipartResolver:isMultipart() #1117
| +---[2.054361ms] org.springframework.web.servlet.DispatcherServlet:getHandler() #964
| | `---[1.961963ms] org.springframework.web.servlet.DispatcherServlet:getHandler()
| | +---[0.02051ms] java.util.List:iterator() #1183
| | +---[min=0.003805ms,max=0.009641ms,total=0.013446ms,count=2] java.util.Iterator:hasNext() #1183
| | +---[min=0.003181ms,max=0.009751ms,total=0.012932ms,count=2] java.util.Iterator:next() #1183
| | +---[min=0.005841ms,max=0.015308ms,total=0.021149ms,count=2] org.apache.commons.logging.Log:isTraceEnabled() #1184
|