springboot上传大文件时内存溢出的可能解决办法

springboot上传大文件时内存溢出的可能解决办法

  • 在springboot中上传大文件时要考虑内存的情况,一般我们会通过在执行服务时加入-Xms512m -Xmx512m等参数加大堆内存,但这是指标不治本的,关键还是看代码处理的时候有无导致内存泄漏的原因。
    例如:
    java -Xms512m -Xmx512m -jar rent_web-1.0.0.jar
    
  • 有时候我们会需要把上传的文件再调用其他服务进行上传,即a把文件上传给b,b再把文件上传给c,那么在中间的这个转发服务如果处理不好就会导致内存溢出。
  • 下面是导致内存溢出的代码,这里溢出的原因是RequestBody的创建用了file.getBytes(),如果你继续跟进RequestBody.create就会发现最终会调用System.arraycopy来拷贝file.getBytes(),这相当于拷贝了一份,如果本来是512M,一拷贝就变成了1024M,内存肯定吃不消,于是就抛出内存溢出。
 public ApiResult<UploadResult> storeFile(MultipartFile file) throws IOException {
      	...
      	
        String originalName= URLEncoder.encode(file.getOriginalFilename(),"utf8");
        RequestBody rb = RequestBody.create(MediaType.parse("multipart/form-data"), file.getBytes());
        MultipartBody.Part part = MultipartBody.Part.createFormData("file",originalName, rb);
        EFSService efsService = getRandEFSService();
        Response<ApiResult<UploadResult>> res = efsService.upload(part, module).execute();
     	...
    }
  • 经过自己实践,我的思路是先把文件存到本地临时目录(其实上传文件大小超过10KB就已经会被存在本地临时目录,但由于是私有对象不可访问,当然你高兴可以用反射获得,但既然官方不开放这样的接口,那还是不要使用反射去获取了,避免以后官方实现发现了变化,那先前的反射也就会报错了),再将file置空让gc能够回收原来MultipartFile指向的内存,这样子没有拷贝多一份数据,大文件就不会多加一倍内存而溢出了。
 public ApiResult<UploadResult> storeFile( MultipartFile file) throws IOException {
       ...
        File tempFile = File.createTempFile("video", null);
        Log.info("临时文件目录:" + tempFile.getCanonicalPath());
        file.transferTo(tempFile);
        String originalName= URLEncoder.encode(file.getOriginalFilename(),"utf8");
        file=null;//file置为null是为了告诉gc此块内存可以回收
        RequestBody rb = RequestBody.create(MediaType.parse("multipart/form-data"), tempFile);
        MultipartBody.Part part = MultipartBody.Part.createFormData("file",originalName, rb);
        EFSService efsService = getRandEFSService();
        Response<ApiResult<UploadResult>> res = efsService.upload(part, module).execute();
       ...
    }
  • 本人测试过程中发现上传文件有时会出现以下这个错误,重启后会消失,奇怪的是出现这个问题时下断点发现竟然都没执行到,不知在哪里就抛出了这个异常(原因暂时不详,可能是springboot上传文件用到了临时目录,而这个临时目录又很容易被系统删除)。
Failed to parse multipart servlet request; nested exception is java.io.IOException: The temporary upload location [C:\Users\HuWeiJian\AppData\Local\Temp\tomcat.4476717864971067098.8101\work\Tomcat\localhost\ROOT] is not valid

解决办法是通过

 /**
     * 自定义临时文件目录,确保目录不会被系统删除导致抛异常
     * @return
     */
    @Bean
    public MultipartConfigElement multipartConfigElement(){
        MultipartConfigFactory factory=new MultipartConfigFactory();
        String location =System.getProperty("user.dir")+tempFileDir;
        Log.info("location="+location);
        File tmpDir=new File(location);
        if(!tmpDir.exists()){
            tmpDir.mkdirs();

        }
        factory.setLocation(location);
        return factory.createMultipartConfig();
    }
  • 或者在配置文件中增加:server.tomcat.basedir: /yourDir
  • 本人能力有限,如有错误请不吝指教。

后话

  • MultipartFile其实只是一个接口,真正实现在org.springframework.web.multipart.support.StandardMultipartHttpServletRequest.StandardMultipartFile,
  • StandardMultipartFile里面有个javax.servlet.http.Part对象,
  • Part也是一个接口,真正实现在org.apache.catalina.core.ApplicationPart,
  • ApplicationPart里有个org.apache.tomcat.util.http.fileupload.FileItem接口和File,
  • .FileItem实现是org.apache.tomcat.util.http.fileupload.disk.DiskFileItem,File表示上传的文件(是一个临时存放文件)
  • DiskFileItem是由org.apache.tomcat.util.http.fileupload.disk.DiskFileItemFactory创建出来的,
  • 从DiskFileItemFactory.DEFAULT_SIZE_THRESHOLD = 10240可以得知如果文件大小在10KB以内,则直接放在内存,如果大于10KB,则存储在本地磁盘中(注意是存在临时目录中,意味着这个文件如果你不持久化那这个文件随时会被系统清除)

参考

Java中OutOfMemoryError(内存溢出)的三种情况及解决办法 - chen_lay的博客 - CSDN博客
https://blog.csdn.net/chen_lay/article/details/52209748
SpringBoot项目优化和Jvm调优(楼主亲测,真实有效) - 熊本同学 - CSDN博客
https://blog.csdn.net/wd2014610/article/details/82182617

评论 5 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:技术黑板 设计师:CSDN官方博客 返回首页

打赏作者

hijunmeng

您的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值