HTTP协议是一种超文本传输协议(Hypertext Transfer Protocol),工作于网络应用层,自1990年起广泛应用于WWW 的全球信息服务,HTTP协议的详细说明可以在网上查阅RFC2518、RFC2616等文档。
HTTP 协议老的标准是HTTP/1.0,目前最通用的标准是HTTP/1.1。HTTP/1.1是在HTTP/1.0基础上的升级,增加了一些功能,全面兼容 HTTP/1.0。HTTP/1.0不支持文件断点续传,如果服务器使用HTTP/1.0,“网络蚂蚁”的任何多线程下载程序都只能按单线程下载;好在目 前的Web服务器绝大多数都采用了HTTP/1.1,所以,下面将基于HTTP/1.1进行介绍。
HTTP协议的相关重要命令
基于HTTP的浏览器浏览网页、下载文件时,工作原理类似客户机/服务器模式:浏览器向Web服务器发出一个HTTP请求行;Web服务器在 收到有效的请求后,返回一个状态行或多个响应标题、一个空白行和相关文档。根据这一工作原理,下载程序必须实现向服务器发送请求和获取服务器响应状态的功 能。
1.向服务器发送 GET请求命令
一个HTTP请求由一个请求行、可选数目的请求标题、一个空白行,以及在POST情况下的一些额外的数据组成。请求行的格式是:
请求方法 URI HTTP/版本号
GET 命令是浏览器常用的文档请求方法,在程序中间使用
GET URI HTTP/1.1
向Web服务器发送请求行(行号3),Java 代码如下:
....
clientSocket = new Socket(host, port);//打开要下载文件服务器的Socket
outStream = new PrintStream(clientSocket.getOutputStream());
....
outStream.println(“GET”+uri+“ HTTP/1.1”);
outStream.println(“Host:”+host);
outStream.println(“Accept:*/* ”);
outStream.println(“Referer:”);
outStream.println();
....
注:第4行给出URL中的主机名和端口号,第5行说明客户端接收所有MIME类型,第7行方送一个空白行,表明请求行结束。
2.获取服务器响应状态
在发送HTTP请求行以后,程序就可以读取服务器的响应状态了。HTTP响应状态行包括:HTTP 状态码和一些HTTP响应标题。
1) HTTP状态码
HTTP状态码格式是 HTTP/版本信息的数字表示。状态码例子如下:
HTTP/1.0 200 OK // 表示服务器支持HTTP/1.0 协议,成功
HTTP/1.1 200 OK // 表示服务器支持HTTP/1.1 协议,成功
HTTP/1.0 404 Not Found // 表示服务器支持HTTP/1.0 协议,访问文件没有找到
在程序中间,如果读到“HTTP/1.1 200 OK”这样的字符串,表明欲下载文件存在、该服务器支持断点续传,可以使用多线程下载。如果读到“HTTP/1.0 200 OK”这样的字符串,表明欲下载文件存在、但该服务器不支持断点续传,只可以使用单线程下载。
.....
while ((line=inStream.readLine()) != null) //将服务器响应状态读到line
........
if(line.substring(0,7).equals(“HTTP/1.”) ) //判断是否支持HTTP/1.1
{ if(line.charAt(7)==‘0’)
{
System.out.println(“server use http/1.0”);
threadcount=1;
}
if(!(line.substring(9,12)).equals(“200”)) //判断请求是否成功
{ System.out.println(“ERROR:”+line);
return false;
}
}
2) 读取重要的响应标题,获得要下载文档的文件长度
如果HTTP状态码表明访问成功,服务器会回送一些标题行,我们最关注的是Content-Length 这一行,比如,如果服务器回送“Content-Length:1000”,表明请求文件的长度是1000字节,所以读取这一行信息,可以得到文件的长度信息:
....
if(line.substring(0,15).equals(“Content-Length:”) )
{ filelength=Long.parseLong(line.substring(15).trim());
System.out.println(“file length:” +filelength);
}
......
向服务器发送断点续传请求
如上所述,如果服务器支持HTTP/1.1,再次向服务器发送GET请求:
.....
outStream.println(“GET ”+uri+“HTTP/1.1 ”);
outStream.println(“Host:”+host);
outStream.println(“Accept:*/* ”);
outStream.println(“RANGE:bytes=”+(fileblocklength)*thisthreadid+“-”);
outStream.println();
.....
第4行是关键,“RANGE:bytes=”是HTTP/1.1新增内容,HTTP/1.0每次传送文件都是从文件头开始,即0字节处开始,“RANGE:bytes=XXXX”表示要求服务器从文件XXXX字节处开始传送,这就是我们平时所说的断点续传!
分割文件,多线程下载
使用多线程编程技术,同时启动多个线程,根据线程个数,计算文件分割位置,向服务器发送几个不同的下载断点,同时接受数据并写入文件,就可以实现多线程下载了。
.....
raf=new RandomAccessFile(file,“rw”);//以随机存取方式打开文件
.....
synchronized(raf) //按同步方式把各个线程得到数据分别写入文件
{ raf.seek(thisthreadid*(filelength/threadcount)+k*buflength);
raf.write(readbytes);
......
}
......
下面是用PHP模拟的POST中的构造Http协议部分
$request = "POST /happy/member.php HTTP/1.1rn";
$request .= "Pragma: no cachern";
$request .= "Host: phpx.comrn";
$request .= "User-Agent: " . $_SERVER['HTTP_USER_AGENT'] . "rn";
$request .= "Accept: */*rn";
$request .= "Accept-Language: " . $_SERVER['HTTP_ACCEPT_LANGUAGE'] . "rn";
$request .= "Keep-Alive: 300rn";
$request .= "Connection: keep-alivern";
$request .= "Cache-Control: max-age=0rn";
$request .= "Content-Type: application/x-www-form-urlencodedrn";
$request .= "Content-Length: $lenghtrn";
$request .= "rn";
$request .= $postValues;
====================================
下面是响应成功返回的信息
HTTP/1.1 200 OK
Date: Fri, 05 Nov 2004 01:06:59 GMT
Server: Apache
Set-Cookie: bblastvisit=1099616819; expires=Sat, 05-Nov-2005 01:06:59 GMT; path=/
Set-Cookie: bbuserid=17027; expires=Sat, 05-Nov-2005 01:06:59 GMT; path=/
Set-Cookie: bbpassword=3332def6f45e948bd403276b3b2002d4; expires=Sat, 05-Nov-2005 01:06:59 GMT; path=/
Set-Cookie: sessionhash=53a2b0ee3798fe2ca15342541b62f823; path=/
Content-Length: 3325
Keep-Alive: timeout=5, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=GB2312
[color=darkblue] [/color]
HTTP 协议老的标准是HTTP/1.0,目前最通用的标准是HTTP/1.1。HTTP/1.1是在HTTP/1.0基础上的升级,增加了一些功能,全面兼容 HTTP/1.0。HTTP/1.0不支持文件断点续传,如果服务器使用HTTP/1.0,“网络蚂蚁”的任何多线程下载程序都只能按单线程下载;好在目 前的Web服务器绝大多数都采用了HTTP/1.1,所以,下面将基于HTTP/1.1进行介绍。
HTTP协议的相关重要命令
基于HTTP的浏览器浏览网页、下载文件时,工作原理类似客户机/服务器模式:浏览器向Web服务器发出一个HTTP请求行;Web服务器在 收到有效的请求后,返回一个状态行或多个响应标题、一个空白行和相关文档。根据这一工作原理,下载程序必须实现向服务器发送请求和获取服务器响应状态的功 能。
1.向服务器发送 GET请求命令
一个HTTP请求由一个请求行、可选数目的请求标题、一个空白行,以及在POST情况下的一些额外的数据组成。请求行的格式是:
请求方法 URI HTTP/版本号
GET 命令是浏览器常用的文档请求方法,在程序中间使用
GET URI HTTP/1.1
向Web服务器发送请求行(行号3),Java 代码如下:
....
clientSocket = new Socket(host, port);//打开要下载文件服务器的Socket
outStream = new PrintStream(clientSocket.getOutputStream());
....
outStream.println(“GET”+uri+“ HTTP/1.1”);
outStream.println(“Host:”+host);
outStream.println(“Accept:*/* ”);
outStream.println(“Referer:”);
outStream.println();
....
注:第4行给出URL中的主机名和端口号,第5行说明客户端接收所有MIME类型,第7行方送一个空白行,表明请求行结束。
2.获取服务器响应状态
在发送HTTP请求行以后,程序就可以读取服务器的响应状态了。HTTP响应状态行包括:HTTP 状态码和一些HTTP响应标题。
1) HTTP状态码
HTTP状态码格式是 HTTP/版本信息的数字表示。状态码例子如下:
HTTP/1.0 200 OK // 表示服务器支持HTTP/1.0 协议,成功
HTTP/1.1 200 OK // 表示服务器支持HTTP/1.1 协议,成功
HTTP/1.0 404 Not Found // 表示服务器支持HTTP/1.0 协议,访问文件没有找到
在程序中间,如果读到“HTTP/1.1 200 OK”这样的字符串,表明欲下载文件存在、该服务器支持断点续传,可以使用多线程下载。如果读到“HTTP/1.0 200 OK”这样的字符串,表明欲下载文件存在、但该服务器不支持断点续传,只可以使用单线程下载。
.....
while ((line=inStream.readLine()) != null) //将服务器响应状态读到line
........
if(line.substring(0,7).equals(“HTTP/1.”) ) //判断是否支持HTTP/1.1
{ if(line.charAt(7)==‘0’)
{
System.out.println(“server use http/1.0”);
threadcount=1;
}
if(!(line.substring(9,12)).equals(“200”)) //判断请求是否成功
{ System.out.println(“ERROR:”+line);
return false;
}
}
2) 读取重要的响应标题,获得要下载文档的文件长度
如果HTTP状态码表明访问成功,服务器会回送一些标题行,我们最关注的是Content-Length 这一行,比如,如果服务器回送“Content-Length:1000”,表明请求文件的长度是1000字节,所以读取这一行信息,可以得到文件的长度信息:
....
if(line.substring(0,15).equals(“Content-Length:”) )
{ filelength=Long.parseLong(line.substring(15).trim());
System.out.println(“file length:” +filelength);
}
......
向服务器发送断点续传请求
如上所述,如果服务器支持HTTP/1.1,再次向服务器发送GET请求:
.....
outStream.println(“GET ”+uri+“HTTP/1.1 ”);
outStream.println(“Host:”+host);
outStream.println(“Accept:*/* ”);
outStream.println(“RANGE:bytes=”+(fileblocklength)*thisthreadid+“-”);
outStream.println();
.....
第4行是关键,“RANGE:bytes=”是HTTP/1.1新增内容,HTTP/1.0每次传送文件都是从文件头开始,即0字节处开始,“RANGE:bytes=XXXX”表示要求服务器从文件XXXX字节处开始传送,这就是我们平时所说的断点续传!
分割文件,多线程下载
使用多线程编程技术,同时启动多个线程,根据线程个数,计算文件分割位置,向服务器发送几个不同的下载断点,同时接受数据并写入文件,就可以实现多线程下载了。
.....
raf=new RandomAccessFile(file,“rw”);//以随机存取方式打开文件
.....
synchronized(raf) //按同步方式把各个线程得到数据分别写入文件
{ raf.seek(thisthreadid*(filelength/threadcount)+k*buflength);
raf.write(readbytes);
......
}
......
下面是用PHP模拟的POST中的构造Http协议部分
$request = "POST /happy/member.php HTTP/1.1rn";
$request .= "Pragma: no cachern";
$request .= "Host: phpx.comrn";
$request .= "User-Agent: " . $_SERVER['HTTP_USER_AGENT'] . "rn";
$request .= "Accept: */*rn";
$request .= "Accept-Language: " . $_SERVER['HTTP_ACCEPT_LANGUAGE'] . "rn";
$request .= "Keep-Alive: 300rn";
$request .= "Connection: keep-alivern";
$request .= "Cache-Control: max-age=0rn";
$request .= "Content-Type: application/x-www-form-urlencodedrn";
$request .= "Content-Length: $lenghtrn";
$request .= "rn";
$request .= $postValues;
====================================
下面是响应成功返回的信息
HTTP/1.1 200 OK
Date: Fri, 05 Nov 2004 01:06:59 GMT
Server: Apache
Set-Cookie: bblastvisit=1099616819; expires=Sat, 05-Nov-2005 01:06:59 GMT; path=/
Set-Cookie: bbuserid=17027; expires=Sat, 05-Nov-2005 01:06:59 GMT; path=/
Set-Cookie: bbpassword=3332def6f45e948bd403276b3b2002d4; expires=Sat, 05-Nov-2005 01:06:59 GMT; path=/
Set-Cookie: sessionhash=53a2b0ee3798fe2ca15342541b62f823; path=/
Content-Length: 3325
Keep-Alive: timeout=5, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=GB2312
[color=darkblue] [/color]