HTTP Response中的Chunked编码

zeal 2005-07-28 11:37 于 开发/理论 , 1677 字 |   +  0  -  0    English
Made In Zeal 转载请保留原始链接： http://www.zeali.net/entry/129

有时候，Web服务器生成HTTP Response是无法在Header就确定消息大小的，这时一般来说服务器将不会提供Content-Length的头信息，而采用Chunked编码动态的提供body内容的长度。

进行Chunked编码传输的HTTP Response会在消息头部设置：

Transfer-Encoding: chunked

表示Content Body将用Chunked编码传输内容。

Chunked编码使用若干个Chunk串连而成，由一个标明长度为0的chunk标示结束。每个Chunk分为头部和正文两部分，头部内容指定下一段正文的字符总数（十六进制的数字）和数量单位（一般不写），正文部分就是指定长度的实际内容，两部分之间用回车换行(CRLF)隔开。在最后一个长度为0的Chunk中的内容是称为footer的内容，是一些附加的Header信息（通常可以直接忽略）。具体的Chunk编码格式如下：

　　Chunked-Body = *chunk
　　　　　　　　　"0" CRLF
　　　　　　　　　footer
　　　　　　　　　CRLF 
　　chunk = chunk-size [ chunk-ext ] CRLF
　　　　　　 chunk-data CRLF

　　hex-no-zero = <HEX excluding "0">

　　chunk-size = hex-no-zero *HEX
　　chunk-ext = *( ";" chunk-ext-name [ "=" chunk-ext-value ] )
　　chunk-ext-name = token
　　chunk-ext-val = token | quoted-string
　　chunk-data = chunk-size(OCTET)

　　footer = *entity-header

RFC文档中的Chunked解码过程如下：
　　length := 0
　　read chunk-size, chunk-ext (if any) and CRLF
　　while (chunk-size > 0) {
　　read chunk-data and CRLF
　　append chunk-data to entity-body
　　length := length + chunk-size
　　read chunk-size and CRLF
　　}
　　read entity-header
　　while (entity-header not empty) {
　　append entity-header to existing header fields
　　read entity-header
　　}
　　Content-Length := length
　　Remove "chunked" from Transfer-Encoding

最后提供一段PHP版本的chunked解码代码：

$chunk_size = (integer)hexdec(fgets( $socket_fd, 4096 ) );
while(!feof($socket_fd) && $chunk_size > 0) {
    $bodyContent .= fread( $socket_fd, $chunk_size );
    fread( $socket_fd, 2 ); // skip \r\n
    $chunk_size = (integer)hexdec(fgets( $socket_fd, 4096 ) );
}

另外转载一篇：使用HTTP Transfer-Encoding來躲避IDS 
作者
=============================================================
鍾昌翰 chjong@csie.nctu.edu.tw
本文件可自由轉載於各種媒體

本文
=============================================================


已知技術
1)在IP層可以使用IP Fragment將含有惡意程式之封包切割為多個封包
,以避免被
Network IDS抓到Pattern
2)在TCP也可以將將含有惡意程式之TCP連線切成多個TCP Segments,以
避免被
Network IDS抓到Pattern
3)HTTP 1.1裡支援zlib/gzip等壓縮,可以將有惡意程式(通常為含有
Java Script/
VB Script 之HTML檔)壓縮而不被發現

以1,2來說,目前的Snort IDS有IP Fragement與TCP 重組的弁
但是,在前一陣子的survey中,我發現HTTP 1.1裡除了支源zlib/gzip等
壓縮,HTTP/1.1
裡還支援了Transfer-Encoding 可以在傳輸時加上類似unix裡split
能,將一份要
傳送的message切割成多份

zlib與gzip等Content-Encoding與Transfer-Encoding不同處在於:
Content-Encoding
為對文件本身加密,HTTP/1.1傳輸只用Content-Encoding的header說明
文件的壓縮格式,
並沒有必要要處理.但是Transfer-Encoding為在Content-Encoding之
外,再另加的
Encoding.

HTTP response分為三部份, HTTP_RESPONSE_LINE,
HTTP_MESSAGE_HEADER與
HTTP_MESSAGE_BODY

範例:
其中從Content-Type到Content-Length為HTTP_MESSAGE_HEADER,之後
為
HTTP_MESSAGE_BODY

========不加Transfer-Encoding之HTTP response
HTTP/1.1 200 OK
Content-Type: text/html
Host: http://www.csie.nctu.edu.tw
Content-Length: 25

hello world
========

若在HTTP_MESSAGE_HEADER中有Transfer-Encoding: chunked 字樣,則
HTTP_MESSAGE_BODY
會用chunked的encoding方式傳送.目前chunked encoding是HTTP/1.1
明定要支援的. 如下
面的http response即為加上chunked Transfer-Encoding之結果. 本
來有25個bytes現在被
分割為0x6, 0xb,0x7等三個部份. 在chunked Transfer-Encoding是採
用十六進位來表示,
與Content-Length採用10進位並不同

========外加Transfer-Encoding之HTTP response
HTTP/1.1 200 OK
Content-Type: text/html
Host: http://www.csie.nctu.edu.tw
Transfer-Encoding: chunked

6

b
hello world
7

0