金庆的专栏

Firefox的HTTP内容解压代码阅读收藏

Firefox的HTTP内容解压代码阅读

（转载请注明来源于金庆的专栏）

参考firefox-2.0.0.4-source

RFC2612 3.5节Content codings, 内容编码定义了三种内容压缩方式：
gzip, compress, deflate, 但也可以注册新的压缩方式。

找到FireFox中的Http解压代码：

Find 'deflate' in 'D:\mozilla\netwerk\streamconv\converters\nsHTTPCompressConv.h' :
D:\mozilla\netwerk\streamconv\converters\nsHTTPCompressConv.h(58):
#define HTTP_DEFLATE_TYPE "deflate"

nsHttpCompressConv.h

#define HTTP_DEFLATE_TYPE "deflate"

#define HTTP_GZIP_TYPE "gzip"

#define HTTP_X_GZIP_TYPE "x-gzip"

#define HTTP_COMPRESS_TYPE "compress"

#define HTTP_X_COMPRESS_TYPE "x-compress"

#define HTTP_IDENTITY_TYPE "identity"

#define HTTP_UNCOMPRESSED_TYPE "uncompressed"

typedef enum {

HTTP_COMPRESS_GZIP,

HTTP_COMPRESS_DEFLATE,

HTTP_COMPRESS_COMPRESS,

HTTP_COMPRESS_IDENTITY

} CompressMode;

定位到类与方法：

class nsHTTPCompressConv : public nsIStreamConverter

nsHTTPCompressConv::AsyncConvertData(const char *aFromType, ...)
比较类型串，设置解压模式。例
else if (!PL_strncasecmp(aFromType, HTTP_DEFLATE_TYPE, sizeof(HTTP_DEFLATE_TYPE)-1))
mMode = HTTP_COMPRESS_DEFLATE;

nsHTTPCompressConv::OnDataAvailable(...)
针对不同解压模式进行解压。

代码阅读：

switch (mMode)

{

case HTTP_COMPRESS_GZIP:

streamLen = check_header(iStr, streamLen, &rv);

case HTTP_COMPRESS_DEFLATE:

...

break;

default:

...

}

HTTP_COMPRESS_COMPRESS没有进行特别处理？
应该是无法解的，可能LZW解压算法有专利问题。

Gzip进行头部处理后就与deflate进行相似的解压。

case HTTP_COMPRESS_DEFLATE:

...

if (mMode == HTTP_COMPRESS_DEFLATE)

... /* deflate */

else

... /* gzip */

break;

deflate与gzip解压的代码几乎相同，应该可以合成一块代码。
区别仅有：

deflate使用inflateInit()，而gzip使用inflateInit2()进行初始化，比inflateInit()多一个参数: -MAX_WBITS，表示处理raw deflate数据。因为gzip数据中的zlib压缩数据块没有zlib header的两个字节。使用inflateInit2时要求zlib库忽略zlib header。在zlib手册中要求windowBits为8..15，但是实际上其它范围的数据有特殊作用，见zlib.h中的注释，如负数表示raw deflate。
Apache的deflate变种可能也没有zlib header，需要添加假头后处理。即MS的错误deflate (raw deflate). zlib头第1字节一般是0x78, 第2字节与第一字节合起来的双字节应能被31整除，详见rfc1950。例如Firefox的zlib假头为0x7801，python zlib.compress()结果头部为0x789c。

deflate添假头，与gzip忽略头部效果应该是一样的，是否可以合并处理？
能否判断头部两个字节是zlib头部还是数据？是否有可能raw deflate数据按正常zlib块处理了而不报错？

check_header()

参考：GZIP文件格式简介

1. gz头：0x1f8b
2. Z_DEFLATED标志：0x08
...

其中FLG.FEXTRA的处理有个错误，额外可选项的长度应该是两个字节的合成：
                mLen = ((uInt) c & 0377) << 8;
应改为
                mLen |= ((uInt) c & 0377) << 8;

因为该额外字段一般在HTTP的应用中不会出现，所以没有显现出来。
我已提交：Bugzilla@Mozilla – Bug 383984

注意：GZIP文件格式简介中的额外字段的格式与rfc1952不一致，多了两个“选项ID”字节。

还有，
case GZIP_COMMENT:
     if (mFlags & GZIP_COMMENT)

应改为:

case GZIP_COMMENT:
     if (mFlags & COMMENT)

该错误已提交，Bugzilla@Mozilla – Bug 382849

zlib可以处理gzip头部，但所有gz函数都是针对gz文件进行的，没有直接在内存中处理gzip的，这好象是zlib功能上的一个不足吧？

相关rfc:
rfc1950: ZLIB Compressed Data Format Specification version 3.3
rfc1951: DEFLATE Compressed Data Format Specification version 1.3

（转载请注明来源于金庆的专栏）

TAGS: http,firefox,mozilla,netwerk,nshttpcompressconv,gzip,compress,deflate,zlib,代码阅读,解压

发表于 @ 2007年07月09日 11:29:00|评论(loading...)