多线程下载原理

多线程下载原理图和java代码实现

img
import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;
/**
* 多线程下载——断点续传
* @author yanbin
*
*/
public class ThreadDownDemo {
//–访问的路径
private static String path = “http://localhost/1.zip“;
//–文件总长度
private static int len = -1;
//–并发的线程数
private static int thread_count = 3;
//–每个下载块的大小
private static int thread_len = -1;
//–当前运行着的线程数
private static int thread_run = 0;
//–开始下载的时间
private static long beginTime = System.currentTimeMillis();

public static void main(String[] args) throws Exception {
    //1.获知当前文件的大小,通过Content-Length头获取文件大小信息
    URL url = new URL(path);
    HttpURLConnection conn = (HttpURLConnection) url.openConnection();
    conn.setRequestMethod("GET");
    conn.setConnectTimeout(5000);
    conn.setReadTimeout(5000);
    if(conn.getResponseCode()==200){
        len = conn.getContentLength();
        System.out.println(len);
    }else{
        throw new RuntimeException("获取文件长度失败!");
    }
    //2.计算每个线程从哪个字节下载到哪个字节
    //--计算每个下载块有多大, 下载块的大小 = 总大小/线程数;
    thread_len = len/thread_count;
    //--初始化当前运行的线程数 = 启动的线程数
    thread_run = thread_count;
    //--循环计算每个线程下载的开始到结束的字节位置
    for(int i=1;i<=thread_count;i++){
        int begin = (i-1)*thread_len;
        int end = (i==thread_count) ?  len - 1 : begin + thread_len-1;
        //3.开启多个线程各自下载自己的部分,写出到文件的对应位置
        //--检查,如果之前有当前线程的进度文件,读取进度文件,将begin的值设置为进度文件中的值,继续下载
        File file = new File("_thread"+i+".txt");
        if(file.exists()){
            BufferedReader reader = new BufferedReader(new FileReader(file));
            begin = Integer.parseInt(reader.readLine());
            reader.close();
        }
        threadDown(i, begin, end);
    }
}

/**
 * 开启子线程,下载指定部分的字节数据
 * @param thread_id 线程的编号
 * @param begin 开始下载的位置 (包含)
 * @param end 结束下载的位置 (包含)
 */
public static void threadDown(final int thread_id,final int begin,final int end){
    System.out.println("线程"+thread_id+"下载begin="+begin+",end="+end);
    new Thread(){

        public void run() {
            try {
                //--下载begin-end的字节,通过range头指定下载这一部分的数据
                URL url = new URL(path);
                HttpURLConnection conn = (HttpURLConnection) url.openConnection();
                conn.setRequestMethod("GET");
                conn.setConnectTimeout(5000);
                conn.setReadTimeout(5000);
                conn.setRequestProperty("Range", "bytes="+begin+"-"+end);
                //--range方式的下载,成功返回的状态码为206,如果返回206,则下载成功,写入到文件的对应位置
                if(conn.getResponseCode() == 206){
                    //--获取下载的数据的流
                    InputStream in = conn.getInputStream();
                    //--生成写出到文件的流
                    RandomAccessFile raf = new RandomAccessFile("1.zip", "rwd");
                    //--移动游标,指定从对应的位置写入数据
                    raf.seek(begin);
                    //--循环写入数据
                    int i = 0;
                    byte [] bs = new byte [10240] ;
                    int save_point = begin;
                    while((i=in.read(bs))!=-1){
                        raf.write(bs,0,i);
                        //--利用临时文件保存当前线程下载到的位置
                        save_point = save_point+i;
                        RandomAccessFile raf2 = new RandomAccessFile("_thread"+thread_id+".txt", "rwd");
                        raf2.write((""+save_point).getBytes());
                        raf2.close();
                    }

                    //--关闭流
                    in.close();
                    raf.close();
                    System.out.println("线程"+thread_id+"下载完毕!");
                    //--将运行着的线程数-1
                    thread_run--;
                    if(thread_run==0){
                        //4.如果所有线程都下载完成,表明整个文件都下载完成了
                        System.out.println("整个文件下载完毕!!!");
                        long endTime = System.currentTimeMillis();
                        long useTime = endTime - beginTime;
                        System.out.println("所用时间为"+useTime);
                        //--下载完成,删除进度文件
                        for(int thread_id = 1;thread_id<=thread_count;thread_id++){
                            File file = new File("_thread"+thread_id+".txt");
                            if(file.exists())
                                file.delete();
                        }
                    }
                }else{
                    //--下载失败,提示错误消息
                    throw new RuntimeException("线程"+thread_id+"号下载失败!");
                }

            } catch (Exception e) {
                e.printStackTrace();
                throw new RuntimeException(e);
            }
        };

    }.start();
}

}


android中的网络访问:
(1)URL URLConnection 方式去访问网络中的资源 – 面向过程的 需要注意http的底层细节 需要考虑 子线程访问 主线程更新的问题

    入门案例:访问网络图片
        **主线程中不能进行耗时的操作--访问网络 ANR--像这种耗时的操作必须放置到子线程内部执行
        **子线程不能更新UI,只有主线程能够更新UI
        **消息队列 Handler + Message

    接受数据案例:HTML获取工具
        乱码问题,保证编解码一致就不会乱码.

    发送数据案例:用户登录
        GET
        POST
        发送的参数必须进行URL编码
        乱码问题

(2)HttpClient客户端工具,面向对象方式进行网络编程  需要考虑 子线程访问 主线程更新的问题:
        GET方式实现
                HttpClient client = new DefaultHttpClient();
                HttpGet hg = new HttpGet(path);
                HttpResponse resp = client.execute(hg);

        POST方式的实现
                HttpClient client = new DefaultHttpClient();
                HttpPost hp = new HttpPost();
                List<NameValuePair> parameters = new ArrayList<NameValuePair>();
                NameValuePair username_nv = new BasicNameValuePair("username", username);
                parameters.add(username_nv);
                NameValuePair password_nv = new BasicNameValuePair("password", password);
                parameters.add(password_nv);
                HttpEntity entity = new UrlEncodedFormEntity(parameters);
                hp.setEntity(entity);
                HttpResponse resp = client.execute(hp);

(3)asyncHttpClient:面向对象的方式访问网络, 隐藏了 子线程访问 主线程更新的问题,我们只需要告诉他,访问什么 带着哪些参数 访问完成后回调什么方法
    GET
        String path = "http://192.168.1.100/Login/servlet/LoginServlet?username="+URLEncoder.encode(username, "utf-8")+"&password="+password;
        AsyncHttpClient client = new AsyncHttpClient();
        client.get(path,new AsyncHttpResponseHandler(){
                @Override
                public void onSuccess(String content) {
                    Toast.makeText(MainActivity.this, content, 0).show();
                }
                @Override
                public void onFailure(Throwable error, String content) {
                    Toast.makeText(MainActivity.this, content, 0).show();
                }
            });

    POST:
        AsyncHttpClient client = new AsyncHttpClient();
        RequestParams params = new RequestParams();
        params.put("username", username);
        params.put("password", password);
        client.post(path, params, new AsyncHttpResponseHandler(){
            @Override
            public void onSuccess(int statusCode, String content) {
                Toast.makeText(MainActivity.this, content, 0).show();
            } 

            @Override
            public void onFailure(Throwable error, String content) {
                Toast.makeText(MainActivity.this, content, 0).show();
            }
        });

文件的上传:
(1)自己拼接请求头和实体,按照文件上传的格式传输数据即可,很麻烦! 课上没演示,我们平常也不会自己去写
(2)asyncHttpClient提供了文件上传的方法,其实就是将文件对象作为一个参数进行了上传,底层的细节开源框架已经帮我们隐藏了:
AsyncHttpClient client = new AsyncHttpClient();
RequestParams params = new RequestParams();
params.put(“desc”, “上传了~~~”);
params.put(“fx”, new File(et_file.getText().toString().trim()));
client.post(“http://192.168.1.100/Upload/servlet/UploadServlet“, params, new AsyncHttpResponseHandler(){
@Override
public void onSuccess(int statusCode, String content) {
Toast.makeText(MainActivity.this, “上传成功!”, 0).show();
}
@Override
public void onFailure(Throwable error, String content) {
Toast.makeText(MainActivity.this, “上传失败!”+error.getMessage(), 0).show();
}
});

文件的下载-多线程文件下载-断点下载:
(1)多线程文件下载:
获取要下载的文件的大小
在本地创建和要下载的文件大小相同的文件
将要下载的文件分割成多个部分,开启多个线程分别进行下载,将下载的数据都放置到之前创建的空文件中
最终所有的线程都下载完成时,整个文件也就下载完成了

    conn.setRequestProperty("Range", "bytes="+(beginx+1)+"-"+end);//Range头通知服务器发送哪段字节数据
    RandomAccessFile raf = new RandomAccessFile(new File("1.zip"), "rw");//可以写入/读取文件中某部分数据
    raf.seek(beginx);//将RandomAccessFile对象中的指针执行指定字节位置,这样接下来对他的读写操作就是从这个字节开始了

(2)断点下载:
    为每一个多线程下载文件的线程都创建一个文件,实时保存下载到的位置,如果程序突然停止了,下次再启动时,去读取文件,获知当前线程应该从哪里接着下载,就可以实现断点下载功能了

    //当线程启动开始要下载时,检查当前线程有没有之前的进度文件,如果有应该从这个进度文件中指定的位置接着下载!
    File t_file = new File(t_id+".txt");
    if(t_file.exists() &&  t_file.length()>0){
        BufferedReader reader = new BufferedReader(new FileReader(t_file));
        beginx = Integer.parseInt(reader.readLine());
        reader.close();
    }

    //没当线程下载了部分数据时,我们向文件中写入当前的进度
    RandomAccessFile tempRaf = new RandomAccessFile(new File(t_id+".txt"), "rwd");
    temp = temp + i;
    tempRaf.write((temp+"").getBytes());
    tempRaf.close();                


    **案例:anroid当中的多线程下载+断点下载+ProgressBar实现多线程下载的进度显示

(3)XUtils简化文件的多线程下载和断点下载进度监视
    String path = ".....";
    HttpUtils utils = new HttpUtils();
    utils.download(path//下载的路径
            , Environment.getExternalStorageDirectory().getPath()+"/"+getFName(path)//保存的路径
            , true//是否开启断点下载
            , new RequestCallBack<File>() {//回调函数,处理下载成功,下载失败,下载进行的 过程

                @Override
                public void onSuccess(ResponseInfo<File> arg0) {
                    Toast.makeText(MainActivity.this, "下载成功!", 0).show();
                }

                @Override
                public void onFailure(HttpException arg0, String arg1) {
                    Toast.makeText(MainActivity.this, "下载失败!", 0).show();
                }

                @Override
                public void onLoading(long total, long current,boolean isUploading) {
                    pb.setMax((int) total);
                    pb.setProgress((int) current);
                }

            });

本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:

  • Markdown和扩展Markdown简洁的语法
  • 代码块高亮
  • 图片链接和图片上传
  • LaTex数学公式
  • UML序列图和流程图
  • 离线写博客
  • 导入导出Markdown文件
  • 丰富的快捷键

快捷键

  • 加粗 Ctrl + B
  • 斜体 Ctrl + I
  • 引用 Ctrl + Q
  • 插入链接 Ctrl + L
  • 插入代码 Ctrl + K
  • 插入图片 Ctrl + G
  • 提升标题 Ctrl + H
  • 有序列表 Ctrl + O
  • 无序列表 Ctrl + U
  • 横线 Ctrl + R
  • 撤销 Ctrl + Z
  • 重做 Ctrl + Y

Markdown及扩展

Markdown 是一种轻量级标记语言,它允许人们使用易读易写的纯文本格式编写文档,然后转换成格式丰富的HTML页面。 —— [ 维基百科 ]

使用简单的符号标识不同的标题,将某些文字标记为粗体或者斜体,创建一个链接等,详细语法参考帮助?。

本编辑器支持 Markdown Extra ,  扩展了很多好用的功能。具体请参考Github.

表格

Markdown Extra 表格语法:

项目价格
Computer$1600
Phone$12
Pipe$1

可以使用冒号来定义对齐方式:

项目价格数量
Computer1600 元5
Phone12 元12
Pipe1 元234

定义列表

Markdown Extra 定义列表语法: 项目1 项目2
定义 A
定义 B
项目3
定义 C

定义 D

定义D内容

代码块

代码块语法遵循标准markdown代码,例如:

@requires_authorization
def somefunc(param1='', param2=0):
    '''A docstring'''
    if param1 > param2: # interesting
        print 'Greater'
    return (param2 - param1 + 1) or None
class SomeClass:
    pass
>>> message = '''interpreter
... prompt'''

脚注

生成一个脚注1.

目录

[TOC]来生成目录:

数学公式

使用MathJax渲染LaTex 数学公式,详见math.stackexchange.com.

  • 行内公式,数学公式为: Γ(n)=(n1)!nN
  • 块级公式:

x=b±b24ac2a

更多LaTex语法请参考 这儿.

UML 图:

可以渲染序列图:

Created with Raphaël 2.1.0 张三 张三 李四 李四 嘿,小四儿, 写博客了没? 李四愣了一下,说: 忙得吐血,哪有时间写。

或者流程图:

Created with Raphaël 2.1.0 开始 我的操作 确认? 结束 yes no
  • 关于 序列图 语法,参考 这儿,
  • 关于 流程图 语法,参考 这儿.

离线写博客

即使用户在没有网络的情况下,也可以通过本编辑器离线写博客(直接在曾经使用过的浏览器中输入write.blog.csdn.net/mdeditor即可。Markdown编辑器使用浏览器离线存储将内容保存在本地。

用户写博客的过程中,内容实时保存在浏览器缓存中,在用户关闭浏览器或者其它异常情况下,内容不会丢失。用户再次打开浏览器时,会显示上次用户正在编辑的没有发表的内容。

博客发表后,本地缓存将被删除。 

用户可以选择 把正在写的博客保存到服务器草稿箱,即使换浏览器或者清除缓存,内容也不会丢失。

注意:虽然浏览器存储大部分时候都比较可靠,但为了您的数据安全,在联网后,请务必及时发表或者保存到服务器草稿箱

浏览器兼容

  1. 目前,本编辑器对Chrome浏览器支持最为完整。建议大家使用较新版本的Chrome。
  2. IE9以下不支持
  3. IE9,10,11存在以下问题
    1. 不支持离线功能
    2. IE9不支持文件导入导出
    3. IE10不支持拖拽文件导入


  1. 这里是 脚注内容.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值