Java 多线程下载示例

最新推荐文章于 2019-08-05 14:57:00 发布
最新推荐文章于 2019-08-05 14:57:00 发布
阅读量898 收藏
点赞数 1
分类专栏： 多线程 文章标签： 多线程 文件下载
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pleasurehappy/article/details/42192843
版权

项目结构：














FileDownload.java：

package com.wl.download;

import java.io.File;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.text.DecimalFormat;

import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;

import com.wl.util.DownLoadThread;
import com.wl.util.HttpClientFactory;

public class FileDownload {
	
	public static void main(String[] args) {
		long startTime = System.currentTimeMillis();
		System.out.println(startTime);
		
		String srcFileUrl = "http://172.16.2.40:80/2014/12/gpfqpfvlwsvka2mj39pn.mprx";
		String destFilePath = "G:/download/destfile.mprx";
		//获取文件的大小
		long fileSize = getRemoteFileSize(srcFileUrl);
		
		/**
		 * 每个线程需要下载的文件大小   (自行调整)
		 */
		//long unitSize = 1024 ; //多线程太多 卡死你电脑没问题 
		
		long unitSize = 1024 * 1024 * 2;  //下载文件大小为  = 535.66M; 23559 millisecond
		
		//long unitSize = 1024 * 1024 * 50;  //下载文件大小为  = 535.66M; 35726 millisecond
		
		//long unitSize = fileSize;  //下载文件大小为  = 535.66M;  所使用时间  = 52865 millisecond
		
		//创建目的文件，并指定大小
		createFile(destFilePath, fileSize);
		//开几个线程去下载
		long threadCount = fileSize / unitSize;
		//写入文件的位置
		long offset = 0;
		
		if (fileSize <= unitSize) {
			// 如果远程文件尺寸小于等于unitSize
			DownLoadThread downloadThread = new DownLoadThread(srcFileUrl, destFilePath, offset, fileSize);
			Thread t = new Thread(downloadThread);
			t.setPriority(10);
			t.start();
			try {
				t.join();  //该方法作用：主线程（此处是 main函数执行的线程） 等待该下载线程结束
			} catch (InterruptedException e) {
			}
		}else{
			for (int i = 1; i <= threadCount; i++) {

				DownLoadThread downloadThread = new DownLoadThread(
						srcFileUrl, destFilePath, offset, unitSize);
				Thread t = new Thread(downloadThread);
				t.setPriority(10);
				t.start();
				offset = offset + unitSize;
			}
			if (fileSize % unitSize != 0) {
				// 如果不能整除，则需要再创建一个线程下载剩余字节
				DownLoadThread downloadThread = new DownLoadThread(srcFileUrl, destFilePath, offset, fileSize - unitSize * threadCount);
				Thread t = new Thread(downloadThread);
				t.setPriority(10);
				t.start();
				try {
					t.join(); //该方法作用：主线程（此处是 main函数执行的线程） 等待所有由  主线程产生的下载线程  结束
				} catch (InterruptedException e) {
				}
			}
		}
		
		long endTime = System.currentTimeMillis();
		System.out.println(endTime);
		System.out.println("下载文件大小为  = " + fileSize2String(fileSize)+ ";  所使用时间  = "+ (endTime - startTime) + " millisecond");
	}
	
	
	/**
	 * 获取文件大小
	 */
	
	private static long getRemoteFileSize(String srcFileUrl) {
		HttpClient httpClient = HttpClientFactory.getInstance().getHttpClient();
		HttpGet httpGet = new HttpGet(srcFileUrl);
		// 发送请求，返回响应
		HttpResponse response = null;
		
		try {
			response = httpClient.execute(httpGet);
		} catch (ClientProtocolException e) {
		} catch (IOException e) {
		}
		long result = response.getEntity().getContentLength();
		return result;
	}
	
	
	/**
	 * 创建指定大小的文件
	 * @param fileName
	 * @param fileSize
	 */
	private static void createFile(String fileName, long fileSize) {
		File newFile = new File(fileName);
		if(newFile.exists())newFile.delete();
		RandomAccessFile raf = null;
		try {
			raf = new RandomAccessFile(newFile, "rw");
			raf.setLength(fileSize);
		} catch (FileNotFoundException e) {
		} catch (IOException e) {
		} finally {
			try {
				if (raf != null) {
					raf.close();
				}
			} catch (IOException e) {
			}
		}

	}
	
	/**
	 * 获取大小字符串
	 * @param totalSize
	 * @return
	 */
	private static String fileSize2String(long totalSize){
		  String fileTotalSize="";
        DecimalFormat df = new DecimalFormat("0.00");
    	if(totalSize <1024){
    		fileTotalSize=totalSize+"B";
    	}else if(totalSize <1048576){
    		fileTotalSize=df.format((float)totalSize/1024)+"K";
    	}else if(totalSize <1073741824){
    		fileTotalSize=df.format((float)totalSize/1048576)+"M";
    	}else{
    		fileTotalSize=df.format((float)totalSize/1073741824)+"G";
    	}
    	return fileTotalSize;
	}
}

DownLoadThread.java  

package com.wl.util;

import java.io.BufferedInputStream;
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.URL;

public class DownLoadThread implements Runnable {
	
	private String url = null;// 待下载的文件
	private String file = null;// 本地存储路径
	private long offset = 0;// 偏移量
	private long length = 0;// 分配给本线程的下载字节数

	public DownLoadThread(String url, String file, long offset, long length) {
		this.url = url;
		this.file = file;
		this.offset = offset;
		this.length = length;
	}

	public void run() {
		BufferedInputStream bis = null;
		SaveItemFile saveItemFile = null;
		try {
			HttpURLConnection httpURLConnection = (HttpURLConnection) new URL(
					this.url.replace(" ", "%20")).openConnection();
			httpURLConnection.setRequestMethod("GET");
			httpURLConnection.setRequestProperty("RANGE", "bytes="
					+ this.offset + "-" + (this.offset + this.length - 1));
			bis = new BufferedInputStream(httpURLConnection.getInputStream());
			
			saveItemFile = new SaveItemFile(file,offset);
			
			byte[] buff = new byte[1024*8];
			while ((length = bis.read(buff)) > 0 && offset < offset+length ) {
                //写入文件内容，返回最后写入的长度
				offset += saveItemFile.write(buff, 0, (int)length);
            }
		} catch (IOException e) {
		} finally {
			try {
				if (bis != null) {
					bis.close();
				}
				if(saveItemFile!=null){
					saveItemFile.close();
				}
			} catch (IOException e) {
			}

		}

	}
}

HttpClientFactory.java: 

package com.wl.util;

import java.util.concurrent.TimeUnit;

import org.apache.http.HttpVersion;
import org.apache.http.client.HttpClient;
import org.apache.http.conn.scheme.PlainSocketFactory;
import org.apache.http.conn.scheme.Scheme;
import org.apache.http.conn.scheme.SchemeRegistry;
import org.apache.http.conn.ssl.SSLSocketFactory;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.impl.conn.PoolingClientConnectionManager;
import org.apache.http.params.BasicHttpParams;
import org.apache.http.params.CoreConnectionPNames;
import org.apache.http.params.HttpParams;
import org.apache.http.params.HttpProtocolParams;

public class HttpClientFactory {

	private HttpClient httpClient = null;

	/**
	 * 本类可能存在的惟一的一个实例
	 */
	private static HttpClientFactory m_instance;

	/**
	 * 静态工厂方法
	 * 
	 * @return 返还ReadConfigation 类的单一实例
	 */
	public static HttpClientFactory getInstance() {
		if (null == m_instance) {
			m_instance = new HttpClientFactory();
		}
		return m_instance;
	}

	private HttpClientFactory() {

		// 设置组件参数, HTTP协议的版本,1.1/1.0/0.9
		HttpParams params = new BasicHttpParams();
		HttpProtocolParams.setVersion(params, HttpVersion.HTTP_1_1);
		HttpProtocolParams.setUserAgent(params, "HttpComponents/1.1");
		HttpProtocolParams.setUseExpectContinue(params, true);

		// 设置连接超时时间
		int REQUEST_TIMEOUT = 30 * 1000; // 设置请求超时10秒钟
		int SO_TIMEOUT = 10 * 1000; // 设置等待数据超时时间10秒钟
		// HttpConnectionParams.setConnectionTimeout(params, REQUEST_TIMEOUT);
		// HttpConnectionParams.setSoTimeout(params, SO_TIMEOUT);
		params.setParameter(CoreConnectionPNames.CONNECTION_TIMEOUT,
				REQUEST_TIMEOUT);
		params.setParameter(CoreConnectionPNames.SO_TIMEOUT, SO_TIMEOUT);

		// 设置访问协议
		SchemeRegistry schreg = new SchemeRegistry();
		schreg.register(new Scheme("http", 80, PlainSocketFactory
				.getSocketFactory()));
		schreg.register(new Scheme("https", 443, SSLSocketFactory
				.getSocketFactory()));

		// 多连接的线程安全的管理器
		PoolingClientConnectionManager pccm = new PoolingClientConnectionManager(
				schreg);
		pccm.setDefaultMaxPerRoute(50); // 每个主机的最大并行链接数
		pccm.setMaxTotal(100); // 客户端总并行链接最大数

		httpClient = new DefaultHttpClient(pccm, params);
		httpClient.getConnectionManager().closeIdleConnections(10,
				TimeUnit.SECONDS);

	}

	public DefaultHttpClient getHttpClient() {
		return (DefaultHttpClient) httpClient;
	}

}

SaveItemFile.java: 

package com.wl.util;

import java.io.IOException;
import java.io.RandomAccessFile;

public class SaveItemFile {
    //存储文件
    private RandomAccessFile itemFile;
    
    public SaveItemFile() throws IOException {
        this("", 0);
    }
    
    /**
     * @param name 文件路径、名称
     * @param pos 写入点位置 position
     * @throws IOException
     */
    public SaveItemFile(String name, long pos) throws IOException {
        itemFile = new RandomAccessFile(name, "rw");//可读可写
        //在指定的pos位置开始写入数据
        itemFile.seek(pos);
    }
    
    /**
     * <b>function:</b> 同步方法写入文件
     * @author hoojo
     * @createDate 2011-9-26 下午12:21:22
     * @param buff 缓冲数组
     * @param start 起始位置
     * @param length 长度
     * @return
     */
    public int write(byte[] buff, int start, int length) {
        int i = -1;
        try {
            itemFile.write(buff, start, length);
            i = length;
        } catch (IOException e) {
            e.printStackTrace();
        }
        return i;
    }
    
    public void close() throws IOException {
        if (itemFile != null) {
            itemFile.close();
        }
    }
}

pom.xml 

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.filedownload</groupId>
  <artifactId>filedownload</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  
  <dependencies>
  
  	<dependency>
         <groupId>org.apache.httpcomponents</groupId>
         <artifactId>com.springsource.org.apache.httpcomponents.httpclient</artifactId>
         <version>4.2.1</version>
     </dependency>
  	
	
  </dependencies>
</project>

over  

多线程上传  未完待续........

凡人·没有梦
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java多线程详解及示例
07-20
本文将深入探讨Java多线程编程的重要性和使用方法。介绍多线程概念，讨论多线程的优势，并提供实际示例。此外，还将探讨多线程编程中的常见问题以及如何避免这些问题。通过本文，您将获得对Java多线程编程的全面理解...
异步httpclient---HttpAsyncClient的使用
java的平凡之路
06-26 4186
这两天研究了一下异步的httpclient ---- httpAsyncClient原来使用httpclient都是同步的,如果项目中有大量的httpclient的话,可能会造成阻塞,如果使用异步请求的话可以避免这些问题可以用在调用第三方接口或者不需要知道请求返回结果的场景下于是写了一个工具类来封装了同步异步httpclientgithub地址：https://github.com/a638817...
利用HTTPClient模块中HttpGet和HttpPost 发送接口请求
其实我是一个程序员
03-21 912
HttpClient常用HttpGet和HttpPost这两个类，分别对应Get方式和Post方式。            无论是使用HttpGet，还是使用HttpPost，都必须通过如下3步来访问HTTP资源。            1.创建HttpGet或HttpPost对象，将要请求的URL通过构造方法传入HttpGet或HttpPost对象。            2.使用Defa
HttpClientFactory 使用说明 及 对 HttpClient 的回顾和对比
asxza28042的专栏
08-05 459
HttpClient 日常使用及坑点： 在 C# 中，平时我们在使用 HttpClient 的时候，会将 HttpClient 包裹在 using 内部进行声明和初始化，如： using(var httpClient = new HttpClient()) { //other codes } 至于为什么？无外乎是：项目代码中就是这样写的，依葫芦画瓢/别人就是这样用的/在微软官方的...
httpclient3.1的多线程处理
ppby2002的专栏
11-11 4260
<br />使用多线程的主要目的，是为了实现并行的下载。在httpclient运行的过程中，每个http协议的方法，使用一个HttpConnection实 例。由于连接是一种有限的资源，每个连接在某一时刻只能供一个线程和方法使用，所以需要确保在需要时正确地分配连接。HttpClient采用了一种类似 jdbc连接池的方法来管理连接，这个管理工作由 MultiThreadedHttpConnectionManager完成。 <br /> MultiThreadedHttpConnectionManage
Java多线程死锁示例
08-27
主要介绍了Java多线程死锁,结合实例形式分析了Java多线程出现死锁的相关原因与操作注意事项,需要的朋友可以参考下
Java多线程下载文件实现案例详解
08-19
主要介绍了Java多线程下载文件实现案例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
java多线程读写文件示例
09-04
主要介绍了java多线程读写文件示例,需要的朋友可以参考下
java多线程示例
03-02
Java中的多线程有三种实现方式： 1.继承Thread类，重写run方法。Thread本质上也是一个实现了Runnable的实例，他代表一个线程的实例，并且启动线程的唯一方法就是通过Thread类的start方法。 2.实现Runnable接口，并...
java多线程实例 代码可执行 绝对开源
10-24
用java多线程实现下载网络资源，下载完毕后合并。下载速度很快，源代码齐全。非常难得
JAVA项目——多线程下载代码
01-06
JAVA项目——多线程下载代码 使用Eclispe
HttpClientFactory工厂类
11-01
HttpClientFactory引入即可使用。 //get请求 public static HttpResponse doGet(String url, Header[] headers); //贷cookie的post请求 public static HttpResponse doPost(String url,CookieStore cookieStore , Header[] headers,List params); //字节型参数的post请求 public static HttpResponse doPost(String url, Header[] headers,byte[] buffer); //获取响应头的字符集 public static String getEntityCharSet(HttpResponse response) ;
java 多线程下载 迅雷下载
08-17
java 多线程下载 迅雷下载 纯java的，没其他jar包 java 多线程下载 迅雷下载 纯java的，没其他jar包
Java多线程下载
11-02
Java多线程 断续 重新连接 下载。。。。。。。。。。。
httpclient 并行问题
{'name':'hqman','type':'宅男'}
10-31 324
  httpclient是个好东西，之前做过抓取网页，现在用来做多个不同站点信息通信（简单webservice） 具体做法，在客户端模拟表单提交，服务器端跟普通表单处理一样，安全性通过 ip 密码来简单解决。   在实际生产中碰到一个问题，并发提交调用 webservice时候产生死锁问题。   原来是设置问题：     写道 httpclient的多线程处理 　　使用多线程的主要目的，是为了...
并发连接数、请求数、并发用户数
weixin_34358092的博客
03-24 2051
并发连接数、请求数、并发用户数概念并发连接数-SBC（Simultaneous Browser Connections）并发连接数指的是客户端向服务器发起请求，并建立了TCP连接。每秒钟服务器链接的总TCP数量，就是并发连接数。请求数-QPS（Query Per Second）/RPS（Request Per Second）请求数有2个缩写，可以叫QPS也可以叫RPS。单位是...
电信塔施工方案.doc
04-27
5G通信行业、网络优化、通信工程建设资料。
29-【智慧城市与政府治理分会场】10亿大数据助推都市治理-30页.pdf
最新发布
04-27
29-【智慧城市与政府治理分会场】10亿大数据助推都市治理-30页.pdf
java 多线程代码示例
07-27
下面是一个简单的Java多线程代码示例： ```java public class MyThread extends Thread { public void run() { // 线程执行的代码 System.out.println("Thread running"); } } public class Main { public ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值