用java实现多线程下载器

最新推荐文章于 2024-04-23 18:52:22 发布
最新推荐文章于 2024-04-23 18:52:22 发布
阅读量501 收藏 9
点赞数 5
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_63692227/article/details/136113748
版权

多线程下载器

开发语言

  • JDK1.8

功能介绍

  • 通过读取源文件(download.txt，其中可包含多个网址，每个网址独占一行)多线程下载网络资源到本地硬盘
  • 遇到下载故障在控制台打印错误消息
  • 用户可以自定义源文件地址，提示用户创建保存下载文件的目录
  • 用户可以定义同时下载的任务数量，默认开启10个下载任务
  • 下载后的文件名为网址包含的文件名加上时间戳(防止文件重名)
  • 下载成功后在控制台输出存储路径与文件尺寸

使用说明

  • 在download.txt文件里输入要下载资源网址，每个网址独占一行
  • download.txt文件的位置默认在项目的conf目录下
  • 在config.properties文件里定义thread-num为同时选择的线程数
  • 在config.properties文件里定义target-dir为下载文件保存的目录(默认为G:/foo)，建议改为D:/foo
  • config.properties文件的位置默认在项目的conf目录下
  • idea目录下的代码实现.xmind文件请用xmind软件打开
  • 运行Main.java开始下载

目录结构

目录结构

Downloader.java

package src.com.yuan;

import java.io.*;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class Downloader {

    private Integer threadNum;


    /**
     * 读取配置文件，完成初始化
     *
     * @param propDir 配置文件存放的目录
     */
    public void start(String propDir) {
        //读取配置文件
        File propFile = new File(propDir + "/config.properties");
        Properties properties = new Properties();
        Reader reader = null;

        try {
            reader = new FileReader(propFile);
            properties.load(reader);
            String threadNum = properties.getProperty("thread-num");
            String targetDir = properties.getProperty("target-dir");
            this.threadNum = Integer.parseInt(threadNum);
            this.superDownload(propDir + "/download.txt", targetDir);
        } catch (FileNotFoundException e) {
            throw new RuntimeException(e);
        } catch (IOException e) {
            throw new RuntimeException(e);
        } finally {
            if (reader != null) {
                try {
                    reader.close();
                } catch (IOException e) {
                    throw new RuntimeException(e);
                }
            }
        }

    }


    /**
     * 多线程下载文件保存到本地
     *
     * @param downloadTxt 下载文件网址储存目录
     * @param targetDir   下载文件保存的目录，要确保已存在
     */
    public void superDownload(String downloadTxt, String targetDir) {
        File dir = new File(targetDir);
        if (!dir.exists()) {
            dir.mkdirs();
            System.out.println("[INFO]发现下载目录[" + dir.getPath() + "]不存在，已自动创建");
        }

        List<String> resource = new ArrayList<>();

        BufferedReader bfreader = null;
        ExecutorService threadPool = null;
        try {
            bfreader = new BufferedReader(new FileReader(downloadTxt));
            String line = null;
            while ((line = bfreader.readLine()) != null) {
                resource.add(line);
                System.out.println(line);
            }
            threadPool = Executors.newFixedThreadPool(this.threadNum);
            Downloader that = this;//将当前对象传递给匿名类
            for (String item:resource) {
                threadPool.execute(new Runnable() {
                    @Override
                    public void run() {
                        that.download(item,targetDir);
                    }
                });
            }
        } catch (FileNotFoundException e) {
            throw new RuntimeException(e);
        } catch (IOException e) {
            throw new RuntimeException(e);
        } finally {
            if (bfreader != null) {
                try {
                    bfreader.close();
                } catch (IOException e) {
                    throw new RuntimeException(e);
                }
            }

            if (threadPool != null) {
                threadPool.shutdown();
            }
        }


    }


    /**
     * 单线程下载文件保存到本地
     *
     * @param source    源文件的网址
     * @param targetDir 下载文件保存的目录，要确保已存在
     */
    public void download(String source, String targetDir) {
        InputStream inputStream = null;//输入流
        OutputStream outputStream = null;//输出流

        try {

            //从网址中截取文件名 即最后一个`/`后的内容
            String fileName = source.substring(source.lastIndexOf("/") + 1);
            //获取当前时间戳
            long timestamp = System.currentTimeMillis();
            //将时间戳转换为字符串
            String timestampStr = String.valueOf(timestamp);

            //加上时间戳得到唯一的文件名
            fileName = timestampStr + "-" + fileName;

            //创建目标文件对象
            File targetFile = new File(targetDir + "/" + fileName);
            if (!targetFile.exists()) {
                targetFile.createNewFile();//如果文件不存在则新建文件
            }

            //获取网络资源输入流对象
            URL url = new URL(source);
            URLConnection connection = url.openConnection();
            inputStream = connection.getInputStream();

            //获取文件输出流对象
            outputStream = new FileOutputStream(targetFile);

            byte[] readArr = new byte[1024];//每次最多读取1KB
            int len = 0;//保存每次读取的字节长度

            //循环读取
            while ((len = inputStream.read(readArr)) != -1) {
                outputStream.write(readArr, 0, len);
            }

            System.out.println("[INFO]图片下载完成:" + source + "\n\t ->" + targetFile.getPath() + "(" + Math.floor(targetFile.length() / 1024) + "kb)");


        } catch (IOException e) {
            throw new RuntimeException(e);
        } finally {

            try {

                if (inputStream != null) {
                    inputStream.close();
                }
                if (outputStream != null) {
                    outputStream.close();
                }
            } catch (IOException e) {
                throw new RuntimeException(e);
            }

        }


    }


}

Main.java

package src.com.yuan;

public class Main {
    public static void main(String[] args) {
        Downloader downloader = new Downloader();
        downloader.start("./conf");
    }
}

download.txt

https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/pexels-photo-11572548.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/pexels-photo-11593467.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/pexels-photo-11631922.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/pexels-photo-12203460.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/pexels-photo-12240136.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-10092819.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-10519162.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-10977780.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-11311195.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-11954484.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-12072057.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-12072057.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-4542338.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-6323680.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-6873171.jpeg
https://manongbiji.oss-cn-beijing.aliyuncs.com/imooc/pexels/s/pexels-photo-7409835.jpeg

config.properties

thread-num=10
target-dir=G:/foo

运行结果

在这里插入图片描述
在这里插入图片描述

我的github地址

多线程下载器

deyuan zou
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
命令行使用支持断点续传的java多线程下载器
09-04
java命令行下载器，支持断点续传下载，多线程下载,需要的朋友可以参考下
多线程下载器（Java版本）
m0_51520179的博客
07-16 471
1.通过读取源文件多线程自动下载所有网络资源到本地硬盘2.遇到下载故障在控制台打印错误信息3.允许自定义源文件的地址,保存下载文件的目录要自动创建4.允许自定义同时下载的任务数量,不指定默认开启10个下载任务5.下载文件的文件名要与网址包含文件名保持一 致6.下载成功后在控制台输出存储路径与文件尺寸。
java 多线程 多个文件下载_java多线程实现文件下载功能
weixin_42557768的博客
02-12 1307
多线程下载文件的思路：1.首先获取到文件的总大小获取文件大小的方式是通过网络读取，getContentLength()即可获取到文件的大小，使用RandomAccessFile()支持随机访问2.根据所准备的线程数据，计算每一个线程需要下载的文件的大小上图显示下载400M的电影分4个线程下载，每一个线程分别下载各自数据段中的数据，第一个线程下载0-100M，第二个下载100M-200M之间的数据，...
项目文件下载器，基于Thread多线程（线程池）
一个热爱编程的大学僧
11-08 221
文件分块下载
Java编写的一个多线程下载器
理木客
11-16 2934
 这里只是演示这个下载器如何使用以及界面 2.粘贴到下载器界面如下图:(注意存储地址一定是存在的) 3.点击开始下载:(如果想要暂停或者继续可以先选中下载行，点击暂停或者继续) 4源代码下载地址： https://download.csdn.net/download/qq_41941875/10765569                ...
Java实现简单的多线程URL下载器
moonwalker的博客
07-07 2206
程序主要类中的数据成员主要是主窗口的各个组件，而主要进行的操作就是所有组件的初始化以及添加到主窗口并显示窗口，最重要的是为了所有按钮添加事件监听程序，不同的按钮对应不同的操作，“新建下载”是输入所有参数和初始化下载线程（可能读取配置文件），“继续下载”是打开一个存在的配置文件并且用其中的信息进行下载线程的初始化，“开始”是启动所有下载线程和统计线程，“暂停”是保存当前下载进度到配置文件并且结束所有下载线程。如果判断到读取出的字节数为-1，说明该下载线程已经下载完成了需要下载的数据，那么关闭输入输出流。
Java多线程下载器
m0_50281408的博客
10-26 160
本项目代码是我照着敲的，加了一些代码解释，之前还是学了一些多线程的知识，一直没有运用，有时间的话可以去支持一下原作者，喜欢本文的话可以点赞+收藏+分享💋💋💋
Java如何实现下载文件的几种方式
热门推荐
Boy_Martin的博客
07-29 3万+
Java 文件下载
[Java多线程实现批量下载文件,层层优化多种方案实现?]
汤圆的博客
06-26 3270
望岳 (唐) 杜甫 岱宗夫如何，齐鲁青未了。造化钟神秀，阴阳割昏晓。 荡胸生层云，决雌入归鸟。会当凌绝顶，一览众山小。
Java 多线程下载文件
qq_41972358的博客
07-14 1001
package cn.com.skyvis.Mystudy; import java.io.InputStream; import java.io.RandomAccessFile; import java.net.HttpURLConnection; import java.net.URL; import java.util.concurrent.CountDownLatch; public class MutiThreadDownLoad { /** * 同时下载的线程数
aa.rar_java 多线程下载_下载器
09-21
断点续存的 下载器，可以多线程下载 断?阈娴?下载器，可以多线程下载
xy.rar_Java 下载器_java 多线程下载
09-22
java下载器,可实现下载、暂停等功能，有新建对话框，能实现多线程下载
java多线程下载器
03-17
java多线程下载器，可以用java实现多线程下载功能
mybatisPlus使用MetaObjectHandler对字段进行更新
最新发布
m0_56356631的博客
04-23 263
都是符合我们的预期的。
string模拟实现
m0_73969414的博客
04-23 1393
c++中string的模拟实现，面试必会知识点
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 521
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
javaweb-SpringBoot基础
kussm_的博客
04-20 1292
Spring的官网(Spring的简介：Spring makes Java simple。Spring Boot 可以帮助我们非常快速的构建应用程序、简化开发、提高效率。创建一个子包controller。
用Java实现一个多线程下载器
02-13
要用Java实现一个多线程下载器，需要以下步骤： 1. 获取要下载文件的大小。 2. 将文件分成多个块，每个线程负责下载一块。 3. 开启多个线程，每个线程负责下载它所分配的一块。 4. 每个线程在下载完成后，将它下载的数据写入文件中的对应位置。 5. 当所有线程都完成下载后，合并文件块，得到完整的文件。 代码实现： ``` import java.io.*; import java.net.URL; import java.util.concurrent.*; public class MultiThreadDownloader { private static final int THREAD_COUNT = 4; public static void download(String url, String fileName) throws Exception { URL downloadURL = new URL(url); long contentLength = downloadURL.openConnection().getContentLengthLong(); ExecutorService executor = Executors.newFixedThreadPool(THREAD_COUNT); CountDownLatch latch = new CountDownLatch(THREAD_COUNT); long blockSize = contentLength / THREAD_COUNT; for (int i = 0; i < THREAD_COUNT; i++) { long startIndex = i * blockSize; long endIndex = (i == THREAD_COUNT - 1) ? contentLength : startIndex + blockSize - 1; executor.submit(new DownloadTask(downloadURL, startIndex, endIndex, fileName, latch)); } latch.await(); executor.shutdown(); } private static class DownloadTask implements Runnable { private URL downloadURL; private long startIndex; private long endIndex; private String fileName; private CountDownLatch latch; public DownloadTask(URL downloadURL, long startIndex, long endIndex, String fileName, CountDownLatch latch) { this.downloadURL = downloadURL; this.startIndex = startIndex; this.endIndex = endIndex; this.fileName = fileName; this.latch = latch; } @Override public void run() { try { RandomAccessFile file = new RandomAccessFile(fileName, "rw"); file.seek(startIndex); InputStream inputStream = downloadURL.openConnection().

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值