线上接收响应中断问题排查及解决

    背景:我们线上用的是微服务的架构,每个服务都占用一台服务器.但总体来说是一整套.所以抗压能力不够好.所以我们准备了第二套,简单测试之后就挂载上去了.然后问题就出现了.

    问题描述:首先是我们的一台java服务器中报了异常,异常信息为:

org.apache.http.ConnectionClosedException: Premature end of Content-Length delimited message body (expected: 1025540; received: 15975
	at org.apache.http.impl.io.ContentLengthInputStream.read(ContentLengthInputStream.java:178)
	at org.apache.http.conn.EofSensorInputStream.read(EofSensorInputStream.java:137)
	at sun.nio.cs.StreamDecoder.readBytes(StreamDecoder.java:284)
	at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:326)
	at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:178)
	at java.io.InputStreamReader.read(InputStreamReader.java:184)
	at java.io.Reader.read(Reader.java:140)
        ................ 

但是从百度上查也查不到太多相关信息.也没有查到解决方案.但是大致发生的原因我们了解了,是由于在接收响应的时候,只接收到一部分,结果流就被中断了.一开始我们以为是代码的问题.但是并没有解决.代码层面也没有检查出bug.

最终通过一些列的测试以及排查.终于发现了问题所在:
在A服务器向B服务器发送请求的时候,其实在B服务器上有一层Nginx充当反向代理服务器的.而nginx有个缓存区的概念.相关的配置可以参考:https://blog.csdn.net/mary881225/article/details/70173907  (这是别人的)
总的来说就是实际B服务器(Java服务器)生成的响应会先被他的nginx服务器接收到.当响应的数据太大时(linux 默认是8K),就会先将响应写入到硬盘中,在nginx的proxy_temp的文件夹当中,然后nginx一般写入一般读取并发送给调用者.不过当前nginx没有操作这个文件夹的权限时就会中断掉当前的响应,可以在nginx的error.log中看到.

总结:因为没遇见过这种问题所以一开始排查起来完全没有想法,最后是看到nginx的errorlog才找到了方向.所以以后有问题还是要先看各种error.log啊!