记录一次线上大文件上传失败的问题。
先说明情况,本地请求接口,上传大文件和小文件都可以上传,但是部署到线上服务器后只能上传小文件,大文件无法上传。
最开始排查问题
1.先看代码做的主要操作就是先接收文件上传minio后,将文件信息保存到数据库中。
2.分析代码步骤,会将文件的base64信息保存到数据库
然后根据日志记录的信息,看到报错信息是与datebase有关,那就得出结论,是因为保存的源文件太大了,服务器拖不动,于是报错。
将保存源文件的代码去除后,又部署到线上,这次上传大文件就是每次刷新到1分钟就开始上传失败,但是此时日志里并没有任何的错误出现。
又本地进行线上debug,发现接口进到了拦截器里面,但是并没有请求到该接口中。
后面又在线上的swagger测试,发现swagger上可以上传大文件。但是线上请求接口就不行,于是排除了代码问题就只能推断出一个问题:接口请求时间太长,被浏览器拦截了,于是有以下两种解决方法:
1.配置Http会话超时
可以通过两种方式为Spring Boot应用程序配置HTTP会话超时。
application.properties中配置会话超时
最简单的方法是在你的application.properties中加入参数server.servlet.session.timeout。比如说
server.servlet.session.timeout=60s
但是注意的是,Tomcat不允许你将超时时间设置得少于60秒。
2.配置接口访问超时
SpringBoot设置接口访问超时时间有两种方式
一、配置文件方式
在配置文件application.properties中加了spring.mvc.async.request-timeout=120000,意思是设置超时时间为120000ms即120s
# [设置接口的超时时间]
spring.mvc.async.request-timeout=120000
二、配置Config配置类
还有一种就是在config配置类中加入:
public class WebMvcConfig extends WebMvcConfigurerAdapter {
@Override
public void configureAsyncSupport(final AsyncSupportConfigurer configurer) {
configurer.setDefaultTimeout(20000);
configurer.registerCallableInterceptors(timeoutInterceptor());
}
@Bean
public TimeoutCallableProcessingInterceptor timeoutInterceptor() {
return new TimeoutCallableProcessingInterceptor();
}
}
采用上面的两种配置之一后,重新运行服务,调用接口最大等待的响应时间为上面设置的120s。
需要避免踩到的坑
如果按上述配置后,还是会出现超时情况,有可能是以下几种技术的问题,需要对应设置一下。
tomcat的设置
上文中是springboot开发环境,使用了内置的tomcat。而在实际生产环境中一般用的是外置tomcat来部署(便于后续发布更新),需要在tomcat的配置文件server.xml中设置超时时间(默认20秒以下设置为120秒)。
<Connector port="8811" protocol="HTTP/1.1"
connectionTimeout="120000"
redirectPort="8443" />
3..Nginx配置
如果服务端使用到Nginx做了反向代理转发请求,就需要在Nginx的配置文件nginx.conf中设置超时时间,否则会返回“java.io.IOException: 你的主机中的软件中止了一个已建立的连接”这样的异常提示。
未设置时Nginx响应时间默认60秒,这里我将http头部的keepalive_timeout 、client_header_timeout 、client_body_timeout 、send_timeout 、以及server代码块中的proxy_read_timeout 均配置为120秒。
http {
include mime.types;
default_type application/octet-stream;
client_max_body_size 100m;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
keepalive_timeout 120; #连接超时时间,服务器将会在这个时间后关闭连接
send_timeout 120; #发送超时时间
client_header_timeout 120; #请求头的超时时间
client_body_timeout 120; #请求体的读超时时间
#gzip on;
.....
#业务系统的配置
server {
listen 9092;
server_name localhost;
location / {
proxy_pass http://127.0.0.1:8811/mywebsev/;
proxy_read_timeout 120; # 等候后端服务器响应时间 秒
}
}
}