生产环境超时问题最佳实践-从timeout导致500错误获得

乐享技术

已于 2023-11-01 11:58:02 修改

阅读量176

点赞数

分类专栏：经验谈文章标签：运维

于 2023-11-01 11:53:41 首次发布

本文链接：https://blog.csdn.net/davidwkx/article/details/134156353

版权

经验谈专栏收录该内容

23 篇文章 0 订阅

订阅专栏

文章讲述了作者在线上系统中遇到文件上传功能500错误的解决过程，发现问题根源在于超时，通过比较测试和线上环境的带宽差异以及调整超时参数，提出了在生产环境中处理超时问题的最佳实践——绘制功能流转图并检查各部署点的超时设置。

摘要由CSDN通过智能技术生成

最近发现线上系统的一个功能出现500错误。该功能是调用外部服务（内含把一个文件传给另一个平台），用同样文件，测试环境下测试可以，线上环境不行。先记录解决思路如下：
1、比较环境：测试环境和线上环境环境都是–前端 -> nginx -> 应用服务器。基本没差别。
2、根据日志找原因：
2.1 开始看到org.springframework.web.servlet.DispatcherServlet.processDispatchResult(1044) – Null ModelAndView returned to DispatcherServlet with name ‘xxx-servlet’: assuming HandlerAdapter completed request handling
以为是这个原因导致（分析是后台还没处理完，前端请求超时导致HandlerAdapter completed request handling），还专门用程序调试了调用上传文件这个服务。
2.2 后结合浏览器、各端层面，初步判定是超时。因为测试环境外部带宽大，而线上环境外部带宽很小（主要用于监管服务器状态）。
3、解决问题
按下图修改各端连接的超时参数解决问题：
在这里插入图片描述
实际过程：由于一开始没有画这个图，凭经验一个个修改测试，修改的先后顺序就是图中红色数字表示（其中(*)表示不存在超时）。每个步骤一个个试，实际是花了很久时间的。得到的经验如下：
超时问题最佳实践：通常生产环境比较复杂，当发生超时问题时，应首先画出该超时功能流转图–即从前到后把每个独立部署点相连，然后逐一检查各个点之间连接是否存在超时要控制，这样可一次性处理到位。