如何多线程下载一个文件

设计

  1. 把一个文件下载流分成 n 份,即 n 个线程各下载一份
  2. 等待所有线程搞定,之后将 n 个文件合并为一个

实例

以下载 QQ2020 PC为例,大小82MB

  1. 留意HTTP协议,先查看下它的HTTP response

    文件类型是octet-stream ,支持范围请求 Accept-Ranges,大小 86025424 字节。
  2. HTTP request 构建,关键在于 headers 的 Range 参数,比如 Range: bytes=0-1023 表示只获取文件从 0 到 1023(包括)共1024字节的部分文件
  3. 实现 1 ,先发送一个 head 请求,获取文件的长度 contentLength
        HttpRequest headReq = HttpRequest
                        .newBuilder(qqUri)
                        .method("HEAD", BodyPublishers.noBody() )
                        .build();
        HttpResponse<Void> res = client.send(headReq, BodyHandlers.discarding());
        long contentLength = res.headers().firstValueAsLong("content-length").orElseThrow();
  1. 实现 2,构建多个请求,这里是 5 个
        long partLength = contentLength / 5 + 1;
        HttpRequest.Builder baseRequest = HttpRequest.newBuilder(qqUri).GET();

        CountDownLatch latch = new CountDownLatch(5);
        List<Callable<HttpResponse<Path>>> tasks = new ArrayList<>();
        int start = 0;
        for (int i = 0; i < 5; i++) {
   
            String range = "bytes=" + start + "-" + (start += partLength);
            var req = baseRequest.copy().header("Range", range).
  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值