Android之基于HTTP协议的下载

Android之基于HTTP协议的下载

转载请注明出处：http://www.blogjava.net/zh-weir/archive/2010/05/02/319892.html 

    Android系统中本身是有下载机制的，比如浏览器使用的DownloadManager。可遗憾的是，DownloadManager只提供给浏览器使用，一般的应用程序没法调用它。 另外，如果下载调用频繁的话，使用DownloadManager其实是很没有效率的做法。为了解决这些问题，我想我们最好的办法就是自己实现下载，本文就是基于HTTP协议的下载的一些简单介绍。


一、HTTP协议简介 

     HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。
 
     HTTP协议的主要特点可概括如下：

    1.支持客户/服务器模式。

    2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。

    3.灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。

    4.无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。

    5.无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。

    1.1 URL

    HTTP URL (URL是一种特殊类型的URI，包含了用于查找某个资源的足够的信息)的格式如下：

   http://host[":"port][abs_path] 

    http表示要通过HTTP协议来定位网络资源；

    host表示合法的Internet主机域名或者IP地址；

    port指定一个端口号，为空则使用缺省端口80；

    abs_path指定请求资源的URI；
    
    注：如果URL中没有给出abs_path，那么当它作为请求URI时，必须以“/”的形式给出，通常这个工作浏览器自动帮我们完成。

    例如：

    1、输入：www.guet.edu.cn
    浏览器自动转换成：http://www.guet.edu.cn/

    2、http:192.168.0.116:8080/index.jsp 

    1.2 请求

    http请求由三部分组成，分别是：请求行、消息报头、请求正文。

     1.2.1 请求行

    请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本，格式如下：

    Method Request-URI HTTP-Version CRLF

    其中：

    Method表示请求方法；
    Request-URI是一个统一资源标识符；
    HTTP-Version表示请求的HTTP协议版本；
    CRLF表示回车和换行(除了作为结尾的CRLF外，不允许出现单独的CR或LF字符)。

    例如：

    POST /hello.htm HTTP/1.1(“/r/n”)
    
    1) 请求方法：
    
    请求方法（所有方法全为大写）有多种，各个方法的解释如下：
    
    GET    请求获取Request-URI所标识的资源

    POST    在Request-URI所标识的资源后附加新的数据

    HEAD    请求获取由Request-URI所标识的资源的响应消息报头

    PUT    请求服务器存储一个资源，并用Request-URI作为其标识

    DELETE    请求服务器删除Request-URI所标识的资源

    TRACE    请求服务器回送收到的请求信息，主要用于测试或诊断

    CONNECT    保留将来使用

    OPTIONS    请求查询服务器的性能，或者查询与资源相关的选项和需求

    2) Request-URI：

    用于标识要访问的网络资源。通常只要给出相对于服务器的根目录的相对目录即可，因此以“/”开头。
    
    3) 协议版本。

     1.2.2 消息报头

     HTTP消息由客户端到服务器的请求和服务器到客户端的响应组成。请求消息和响应消息都是由开始行（对于请求消息，开始行就是请求行，对于响应消息，开始行就是状态行），消息报头（可选），空行（只有CRLF的行），消息正文（可选）组成。

    1) 普通报头：

    在普通报头中，有少数报头域用于所有的请求和响应消息，但并不用于被传输的实体，只用于传输的消息。

     Cache-Control：用于指定缓存指令，缓存指令是单向的（响应中出现的缓存指令在请求中未必会出现），且是独立的（一个消息的缓存指令不会影响另一个消息处理的缓存机制），HTTP1.0使用的类似的报头域为Pragma。

    请求时的缓存指令包括：no-cache（用于指示请求或响应消息不能缓存）、no-store、max-age、max-stale、min-fresh、only-if-cached;
    响应时的缓存指令包括：public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age、s-maxage 。

    Date：普通报头域表示消息产生的日期和时间。

    Connection：普通报头域允许发送指定连接的选项。例如指定连接是连续，或者指定“close”选项，通知服务器，在响应完成后，关闭连接。

    2) 请求报头：

    允许客户端向服务器端传递请求的附加信息以及客户端自身的信息。常用的请求报头如下：

    Accept：

    Accept请求报头域用于指定客户端接受哪些类型的信息。eg：Accept：image/gif，表明客户端希望接受GIF图象格式的资源；Accept：text/html，表明客户端希望接受html文本。

    Accept-Charset：

    Accept-Charset请求报头域用于指定客户端接受的字符集。eg：Accept-Charset:iso-8859-1,gb2312.如果在请求消息中没有设置这个域，缺省是任何字符集都可以接受。

    Accept-Encoding：

    Accept-Encoding请求报头域类似于Accept，但是它是用于指定可接受的内容编码。eg：Accept-Encoding:gzip.deflate.如果请求消息中没有设置这个域服务器假定客户端对各种内容编码都可以接受。

    Accept-Language：

    Accept-Language请求报头域类似于Accept，但是它是用于指定一种自然语言。eg：Accept-Language:zh-cn.如果请求消息中没有设置这个报头域，服务器假定客户端对各种语言都可以接受。

    Authorization：

    Authorization请求报头域主要用于证明客户端有权查看某个资源。当浏览器访问一个页面时，如果收到服务器的响应代码为401（未授权），可以发送一个包含Authorization请求报头域的请求，要求服务器对其进行验证。

    Host（发送请求时，该报头域是必需的）：

    Host请求报头域主要用于指定被请求资源的Internet主机和端口号，它通常从HTTP URL中提取出来的。
    
    eg：我们在浏览器中输入： http://www.guet.edu.cn/index.html。 浏览器发送的请求消息中，就会包含Host请求报头域，如下：

    Host：www.guet.edu.cn

    此处使用缺省端口号80，若指定了端口号，则变成：Host：www.guet.edu.cn:指定端口号

    User-Agent：

    我们上网登陆论坛的时候，往往会看到一些欢迎信息，其中列出了你的操作系统的名称和版本，你所使用的浏览器的名称和版本，这往往让很多人感到很神奇，实际上，服务器应用程序就是从User-Agent这个请求报头域中获取到这些信息。User-Agent请求报头域允许客户端将它的操作系统、浏览器和其它属性告诉服务器。不过，这个报头域不是必需的，如果我们自己编写一个浏览器，不使用User-Agent请求报头域，那么服务器端就无法得知我们的信息了。 

     请求报头举例：

    GET /form.html HTTP/1.1 (CRLF)
    Accept:image/gif,image/x-xbitmap,image/jpeg,application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-
    powerpoint,application/msword,*/* (CRLF)
    Accept-Language:zh-cn (CRLF)
    Accept-Encoding:gzip,deflate (CRLF)
    If-Modified-Since:Wed,05 Jan 2007 11:21:25 GMT (CRLF)
    If-None-Match:W/"80b1a4c018f3c41:8317" (CRLF)
    User-Agent:Mozilla/4.0(compatible;MSIE6.0;Windows NT 5.0) (CRLF)
    Host:www.guet.edu.cn (CRLF)
    Connection:Keep-Alive (CRLF)
    (CRLF)

    3) 响应报头：

    响应报头允许服务器传递不能放在状态行中的附加响应信息，以及关于服务器的信息和对Request-URI所标识的资源进行下一步访问的信息。
    
    常用的响应报头：

    Location：

    Location响应报头域用于重定向接受者到一个新的位置。Location响应报头域常用在更换域名的时候。

    Server：

    Server响应报头域包含了服务器用来处理请求的软件信息。与User-Agent请求报头域是相对应的。下面是Server响应报头域的一个例子：

    Server：Apache-Coyote/1.1

    WWW-Authenticate：

    WWW-Authenticate响应报头域必须被包含在401（未授权的）响应消息中，客户端收到401响应消息时候，并发送Authorization报头域请求服务器对其进行验证时，服务端响应报头就包含该报头域。eg：WWW-Authenticate:Basic realm="Basic Auth Test!"  //可以看出服务器对请求资源采用的是基本验证机制。

    4) 实体报头：

    请求和响应消息都可以传送一个实体。一个实体由实体报头域和实体正文组成，但并不是说实体报头域和实体正文要在一起发送，可以只发送实体报头域。实体报头定义了关于实体正文（eg：有无实体正文）和请求所标识的资源的元信息。

    常用的实体报头：

    Content-Encoding：

    Content-Encoding实体报头域被用作媒体类型的修饰符，它的值指示了已经被应用到实体正文的附加内容的编码，因而要获得Content-Type报头域中所引用的媒体类型，必须采用相应的解码机制。Content-Encoding这样用于记录文档的压缩方法。eg：Content-Encoding：gzip

    Content-Language：

    Content-Language实体报头域描述了资源所用的自然语言。没有设置该域则认为实体内容将提供给所有的语言阅读者。eg：Content-Language:da

    Content-Length：

    Content-Length实体报头域用于指明实体正文的长度，以字节方式存储的十进制数字来表示。

    Content-Type：

    Content-Type实体报头域用语指明发送给接收者的实体正文的媒体类型。eg：Content-Type:text/html;charset=ISO-8859-1、Content-Type:text/html;charset=GB2312

    Last-Modified：

    Last-Modified实体报头域用于指示资源的最后修改日期和时间。

    Expires：

    Expires实体报头域给出响应过期的日期和时间。为了让代理服务器或浏览器在一段时间以后更新缓存中(再次访问曾访问过的页面时，直接从缓存中加载，缩短响应时间和降低服务器负载)的页面，我们可以使用Expires实体报头域指定页面过期的时间。eg：Expires：Thu，15 Sep 2006 16:23:12 GMT

    HTTP1.1的客户端和缓存必须将其他非法的日期格式（包括0）看作已经过期。eg：为了让浏览器不要缓存页面，我们也可以利用Expires实体报头域，设置为0，jsp中程序如下：response.setDateHeader("Expires","0");

    1.3 响应

    在接收和解释请求消息后，服务器返回一个HTTP响应消息。HTTP响应也是由三个部分组成，分别是：状态行、消息报头、响应正文。

    主要说一下状态行。状态行格式如下：

    HTTP-Version Status-Code Reason-Phrase CRLF

    其中：

    HTTP-Version表示服务器HTTP协议的版本；
    Status-Code表示服务器发回的响应状态代码；
    Reason-Phrase表示状态代码的文本描述。

    状态代码有三位数字组成，第一个数字定义了响应的类别，且有五种可能取值：

    1xx：指示信息--表示请求已接收，继续处理
    2xx：成功--表示请求已被成功接收、理解、接受
    3xx：重定向--要完成请求必须进行更进一步的操作
    4xx：客户端错误--请求有语法错误或请求无法实现
    5xx：服务器端错误--服务器未能实现合法的请求

    常见状态代码、状态描述、说明：

    200 OK    //客户端请求成功
    400 Bad Request    //客户端请求有语法错误，不能被服务器所理解
    401 Unauthorized    //请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用 
    403 Forbidden    //服务器收到请求，但是拒绝提供服务
    404 Not Found    //请求资源不存在，eg：输入了错误的URL
    500 Internal Server Error    //服务器发生不可预期的错误
    503 Server Unavailable    //服务器当前不能处理客户端的请求，一段时间后，可能恢复正常

    eg：HTTP/1.1 200 OK （CRLF）

二、HTTP协议之下载

    在了解了HTTP协议的基本规则之后，我们就可以将其应用于文件的下载了。这一节将介绍的是，通过HTTP协议下载的原理。

    2.1 文件请求

    向服务器发送如下请求：

    GET /Path/FileName HTTP/1.0
    Host: www.server.com:80
    Accept: */*
    User-Agent: GeneralDownloadApplication
    Connection: close

    每行用一个“回车换行”分隔，末尾再追加一个“回车换行”作为整个请求的结束。

    Host字段表示主机名和端口号，如果端口号是默认的80则可以不写。
    Accept字段中的*/*表示接收任何类型的数据。
    User-Agent表示用户代理，这个字段可有可无，但强烈建议加上，因为它是服务器统计、追踪以及识别客户端的依据。
    Connection字段中的close表示使用非持久连接。

    2.2 服务器应答

    如果服务器成功收到该请求，并且没有出现任何错误，则会返回类似下面的数据： 

     HTTP/1.0 200 OK
    Content-Length: 13057672
    Content-Type: application/octet-stream
    Last-Modified: Wed, 10 Oct 2005 00:56:34 GMT
    Accept-Ranges: bytes
    ETag: "2f38a6cac7cec51:160c"
    Server: Microsoft-IIS/6.0
    X-Powered-By: ASP.NET
    Date: Wed, 16 Nov 2005 01:57:54 GMT
    Connection: close

    Content-Length字段是一个比较重要的字段，它标明了服务器返回数据的长度，这个长度是不包含HTTP头长度的。换句话说，我们的请求中并没有Range字段（后面会说到），表示我们请求的是整个文件，所以Content-Length就是整个文件的大小。其余各字段是一些关于文件和服务器的属性信息。

    这段返回数据同样是以最后一行的结束标志（回车换行）和一个额外的回车换行作为结束，即“\r\n\r\n”。而“\r\n\r\n”后面紧接的就是文件的内容了，这样我们就可以找到“\r\n\r\n”，并从它后面的第一个字节开始，源源不断的读取，再写到文件中了。

     2.3 断点续传

    断点续传的实现非常简单，只要在请求中加一个Range字段就可以了。假如一个文件有1000个字节，那么其范围就是0-999，则：

    Range: bytes=500-          表示读取该文件的500-999字节，共500字节。 
    Range: bytes=500-599    表示读取该文件的500-599字节，共100字节。 

     Range还有其它几种写法，但上面这两种是最常用的，对于断点续传也足矣了。如果HTTP请求中包含Range字段，那么服务器会返回206（Partial Content），同时HTTP头中也会有一个相应的Content-Range字段，类似下面的格式： 

     Content-Range: bytes 500-999/1000 

     Content-Range字段说明服务器返回了文件的某个范围及文件的总长度。这时Content-Length字段就不是整个文件的大小了，而是对应文件这个范围的字节数，这一点一定要注意。

     2.4 重定向

     很多软件下载网站的文件下载链接都是通过程序重定向的，比如pchome的ACDSee的HTTP下载地址是：
    
    http://download.pchome.net/php/tdownload2.php?sid=5547&url=/multimedia/viewer/acdc31sr1b051007.exe&svr=1&typ=0 

     这种地址并没有直接标识文件的位置，而是通过程序进行了重定向。如果向服务器请求这样的URL，服务器就会返回302（Moved Temporarily），意思就是需要重定向，同时在HTTP头中会包含一个Location字段，Location字段的值就是重定向后的目的URL。这时就需要断开当前的连接，而向这个重定向后的服务器发请求。


三、HttpClient

    虽然在 JDK 的 java.net 包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活。HttpClient 是 Apache Jakarta Common 下的子项目，用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。HttpClient 已经应用在很多的项目中，比如 Apache Jakarta 上很著名的另外两个开源项目 Cactus 和 HTMLUnit 都使用了 HttpClient。HttpClient 项目非常活跃，使用的人还是非常多的。目前 HttpClient 版本是在 2005.10.11 发布的 3.0 RC4 。

    HttpClient的主要功能有以下一些：

    1)    实现了所有 HTTP 的方法（GET,POST,PUT,HEAD 等）；
    2)    支持自动转向；
    3)    支持 HTTPS 协议；
    4)    支持代理服务器等。

     3.1 环境搭建及所需包

    需要Java开发环境JDK，需要可以访问网络。Android程序需要有“android.permission.INTERNET”的permission。

    所需包：

    1、commons-httpclient-3.1.jar： 包括Http协议所需的类。
    2、commons-logging-1.1.jar： 包括记录程序运行时的活动日志记录的类。
    3、commons-codec-1.3.jar： 包括编码解码的类。

    这些包都是Apache的开源项目，可以在Apache开源组织官网http://www.apache.org/上找到。

     3.2 HttpClient实现HTTP协议基本通信操作

     在实现所有操作之前必须首先实例化一个HttpClient，即初始化一个客户端。

HttpClient client =  new HttpClient();

     3.2.1 请求

     以GET请求为例。

    a、实例化一个请求方法。

HttpMethod method = new GetMethod("http://www.google.cn");

    注：

    ①    虽然Google已经将服务器搬出了大陆，但是HttpClient可实现自动转向，即自动重定向。所以当服务器返回的状态代码为3××时，将自动重定向，知道到达文件实际位置）。

    ②    GetMethod构造函数中的字符串表示的是文件的URI地址。这里只是因为之前没有指定服务器主机地址，所以需要完整名。其实也可以这样：

client.getHostConfiguration().setHost(" www.imobile.com.cn", 80, "http");

    ……

HttpMethod method =  new GetMethod("/simcard.php?simcard=1330227");

    b、添加需要的消息报头信息。

method.addRequestHeader("Range", "bytes=500-");

    HttpClient会构建必须的消息报头信息，如果没有特殊要求可以不用修改。但如果需要在消息报头添加一些特殊信息，例如下载时需要断点续传等，则可用上述方法修改。

    c、发出请求（执行命令）。

int statusCode = client.executeMethod(method);

    此时，程序实际向服务器发出请求，连接成功后，函数返回，返回值为状态代码。

     3.2.2 响应

    接上例。

    a、返回状态代码。

    上例中的“statusCode”即为状态代码。除此方法之外，还可以：

int statusCode = method.getStatusCode();

     注：在httpclient的包中有一个名为“HttpStatus”类，其中定义了大多数的状态代码。如：

    HttpStatus.SC_OK
    HttpStatus.SC_FORBIDDEN 等。

     b、响应报头。

Header[] headers = method.getResponseHeaders();

     获取所有服务器端返回的响应报头。

Header header = method.getRequestHeader("Content-Type");

     获取响应报头中指定的键值对。

     之后可以通过调用header.getName()、header.getValue()来得到相关信息。

     c、响应正文。

byte[] bytes = method.getResponseBody();

InputStream inputStream = method.getResponseBodyAsStream(); 

String string = method.getResponseBodyAsString(); 

     以上三种方法，视情况选用。

     3.2.3 断开连接

method.releaseConnection();

    断开连接。

     3.2.4 其他

    其他包括一些和下载无关，但却非常基本和有用的东西

     a、POST数据。

     POST请求和GET请求大致相同，唯一需要注意的是，如何在POST信息中加入自己所需传输的信息。

postMethod.setRequestBody(InputStream body);

postMethod.setRequestBody(NameValuePair[] parameterBody);

postMethod.setRequestBody(String body);

    b、代理服务器。

    只需指定httpClient的实例的代理就可以了，基于此实例的所有操作将经由此代理。

httpClient.getHostConfiguration().setProxy(hostName,port);

     c、字符编码。

    某目标页的编码可能出现在两个地方：

    第一个地方是服务器返回的http头中（RequestHeader的Content-Type、Content-Encoding字段）；
    
    另外一个地方是得到的html/xml页面中。如：

    <meta http-equiv="Content-Type" content="text/html; charset=gb2312"/>
    或者 <?xml version="1.0" encoding="gb2312"?>

    d、自动跳转。

    HttpClient对GET请求可实现自动跳转。但是对于POST和PUT请求要求接受后继服务的，暂不支持自动跳转。

    当服务器返回的状态代码为3××时，需要根据消息报头的“Location”字段的地址来实现跳转。注意，“Location”字段的地址可能是相对地址，需要自己进行处理。

    还有一种可能就是在页面中实现的跳转。例如，在HTML中，<meta http-equiv="refresh" content="5; url=http://www.ibm.com/us">。

    e、Https协议。

    参看： 《HttpClient入门》 。


参考文献

    本文中自己的东西并不多，大多数都是来自网上的一些资料的摘抄、引用和总结。主要的文献资料有以下一些，感谢这些文章的作者共享其资料。

    1、 《HTTP协议（收藏）》
    2、 《文件下载原理详解1 http协议》
    3、 《HttpClient入门》
    4、 《HttpClient入门教程》