web服务中API接口响应过慢问题排查

2019独角兽企业重金招聘Python工程师标准>>>

使用Nginx+uWSGI搭建web服务已经有半年时间了，最近经常会出现在某些时间段接口响应过慢的问题。一般要10几秒才能返回，有时候甚至是20~30s。这对前端APP来说是不可接受的，开发那边设置的timeout是10s。

最开始以为是他们原始接口自己的问题，后来查看之后发现其实结果返回很快的，但他们实际拿到请求时间已经过去了30秒，而请求端这30s都耗费在nginx和uwsgi的等待上。

没办法，看来还是得从服务端找原因。继续查看ELK搭建的日志搜集系统，发现了一些规律：

 

 

上图是各个接口的平均响应时间，大概每隔1h就会出现一次接口响应过慢的情况。准确的说是在每个小时的50分左右。怀疑在那个时间段会有大量请求阻塞。

跟各个接口负责人确认之后发现，相关新闻接口确实是在每个小时会对队列做一次更新，而且时间也对的上。这么看来应该是相关新闻接口在更新时，阻塞了所有的请求队列，导致其他请求没有及时到达后端。

我采用的解决方案是对相关新闻接口限制timeout时间为2s，直接在request请求里修改：

resp = requests.post("http://xx", json=data, timeout=2)

如果2s之内请求没响应则直接返回0.这样其他接口的请求也不会受到影响。

修改之后，基本恢复正常,所有请求平均响应时间都是500ms以下

转载于:https://my.oschina.net/aibati2008/blog/776419