【Java流式下载大文件,避免OOM内存溢出】

2 篇文章 0 订阅
1 篇文章 0 订阅

Java下载大文件,如何避免OOM内存溢出

Java下载文件时,如果是小文件的下载,我们一般直接使用工具类的方法,比如cn.hutool.http.HttpUtil.downloadFile()。但是如果是大文件的下载,使用这些工具类的方法,可能会出现Out of Memory内存溢出,它是指需要的内存空间大于系统分配的内存空间,oom后果就是项目程序crash,Hprof Heap Profile 内存快照文件。因此,我们需要自己写下载文件方法,下面提供两种下载方法:

1.BufferedInputStream 缓存流的方式来获取下载文件

使用HttpURLConnection和bufferedInputStream 缓存流的方式来获取下载文件,读取InputStream输入流时,每次读取的大小为5M,不一次性读取完,就可避免内存溢出的情况。

/**
 * BufferedInputStream 缓存流下载文件
 * @param downloadUrl
 * @param path
 */
public static void downloadFile(String downloadUrl, String path){
    InputStream inputStream = null;
    OutputStream outputStream = null;
    try {
        URL url = new URL(downloadUrl);
        //这里没有使用 封装后的ResponseEntity 就是也是因为这里不适合一次性的拿到结果,放不下content,会造成内存溢出
        HttpURLConnection connection =(HttpURLConnection) url.openConnection();

        //使用bufferedInputStream 缓存流的方式来获取下载文件,不然大文件会出现内存溢出的情况
        inputStream = new BufferedInputStream(connection.getInputStream());
        File file = new File(path);
        if (file.exists()) {
            file.delete();
        }
        outputStream = new FileOutputStream(file);
        //这里也很关键每次读取的大小为5M 不一次性读取完
        byte[] buffer = new byte[1024 * 1024 * 5];// 5MB
        int len = 0;
        while ((len = inputStream.read(buffer)) != -1) {
            outputStream.write(buffer, 0, len);
        }
        connection.disconnect();
    }catch (Exception e){
        e.printStackTrace();
    }finally {
        IOUtils.closeQuietly(outputStream);
        IOUtils.closeQuietly(inputStream);
    }
}

2.RestTemplate流式处理下载大文件

使用RestTemplate流式处理下载大文件,需要先用RequestCallback定义请求头的接收类型application/octet-stream,然后restTemplate进行请求下载时,对响应进行流式处理而不是将其全部加载到内存中。

/**
 * RestTemplate流式处理下载大文件
 * @param url
 * @param productZipName
 */
public static void download(String url, String productZipName) {
    SSL factory = new SSL();
    RestTemplateConfig config = new RestTemplateConfig();
    RestTemplate restTemplate = config.restTemplate(factory);

    File file = new File(productZipName);
    try {
        //定义请求头的接收类型
        RequestCallback requestCallback = request -> request.getHeaders()
                .setAccept(Arrays.asList(MediaType.APPLICATION_OCTET_STREAM, MediaType.ALL));
        //对响应进行流式处理而不是将其全部加载到内存中
        restTemplate.execute(url, HttpMethod.GET, requestCallback, clientHttpResponse -> {
            Files.copy(clientHttpResponse.getBody(), Paths.get(productZipName));
            return null;
        });
    }catch (Exception e){
        e.printStackTrace();
    }
}
  • 5
    点赞
  • 37
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
测试程序的内存泄漏和内存溢出OOM(Out of Memory)和ANR(Application Not Responding)是为了确保程序在使用内存和响应用户输入时的稳定性和可靠性。 内存泄漏是指程序中已经不再使用的内存没有被正确释放,导致内存的占用不断增加,最终可能导致程序崩溃。为了测试内存泄漏,可以创建一个长时间运行的程序,并通过监测内存使用情况来判断是否有内存泄漏。可以使用内存分析工具来检测未被垃圾回收器回收的对象,以及通过分析堆转储文件来查找内存泄漏的源头。 内存溢出是指程序在申请内存时,无法分配到足够的内存空间,导致程序崩溃。为了测试内存溢出,可以通过申请大量的内存空间来触发溢出,或者通过无限制地生成对象导致内存快速占满。可以使用性能测试工具来模拟大量并发请求和数据量,以模拟真实环境中的内存使用情况,从而找出内存溢出的问题。 OOM是指由于内存不足导致程序无法继续分配内存空间而崩溃。为了测试OOM,可以通过限制程序可用内存的上限,观察程序在分配内存时是否能够正常运行,当内存达到上限时,是否能够优雅地处理内存不足的情况。 ANR是指应用程序无法在规定的时间内响应用户的输入事件,导致系统认为应用程序无响应而弹出ANR对话框。为了测试ANR,可以创建一个需要执行较长时间的代码块,来模拟应用程序无法及时响应用户输入的情况。可以通过监测主线程的响应时间来判断是否出现ANR。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值