zip文件协议&gzip文件协议

// 均要以小端字节序排列

/**
 * ZIP文件格式
 * 
 * n * 文件描述块 + 存档解密头 + 存档额外数据记录 + n * 中央目录头 + 中央目录记录的zip64结尾 + 中央目录定位符的zip64结尾 + 中央目录记录的结尾
 * 
 * 无论加密与否只需包含三个基础也可以组成标准zip文件
 * 本地文件头 + 中央目录头 + 中央目录记录结尾
 * 
 * [local file header 1]                        [本地文件头1]
 * [encryption header 1]                        [加密头1]           根据有无加密存在
 * [file data 1]                                [文件数据1]         此四部分统称为文件描述块
 * [data descriptor 1]                          [数据描述符1]       根据通用标志位bit3确定是否存在
 * .
 * .
 * .
 * [local file header n]                        [本地文件头n]
 * [encryption header n]                        [加密头n]
 * [file data n]                                [文件数据n]
 * [data descriptor n]                          [数据描述符n]
 * 
 * [archive decryption header]                  [存档解密头]
 * [archive extra data record]                  [存档额外数据记录]
 * 
 * [central directory header 1]                 [中央目录头1]
 * .
 * .
 * .
 * [central directory header n]                 [中央目录头n]
 * 
 * [zip64 end of central directory record]      [中央目录记录的zip64结尾] 
 * [zip64 end of central directory locator]     [中央目录定位符的zip64结尾]
 * [end of central directory record]            [中央目录记录的结尾]
 * 
 * 
 * 一个本地文件头对应一个中央目录头
 */

/**
 * 本地文件头组成
 * 
 * local file header signature     4 bytes      本地文件头标识符 (0x04034b50(大端)) 
 * version needed to extract       2 bytes      提取需要的版本
 * general purpose bit flag        2 bytes      通用位标志
 * compression method              2 bytes      压缩方法
 * last mod file time              2 bytes      最后修改文件时间 时分秒
 * last mod file date              2 bytes      最后修改文件日期 年月日
 * crc-32                          4 bytes      crc-32(对压缩前的文件计算)
 * compressed size                 4 bytes      压缩大小
 * uncompressed size               4 bytes      未压缩大小
 * file name length                2 bytes      文件名长度
 * extra field length              2 bytes      额外字段长度
 * file name                 (variable size)    文件名
 * extra field               (variable size)    额外字段
 */

/**
 * 通用标志位说明
 * 
 * bit 0: 设为1时表示采用了压缩算法
 * 如果压缩方法是 6
 * bit 1: 0 -> 4k滑动字典; 1 -> 8k滑动字典
 * bit 2: 0 -> 2个香农-法诺树加密滑动字典; 1 -> 3个香农-法诺树加密滑动字典
 * 
 * 如果压缩方法为 8 和 9
 * bit 2   bit 1
 *   0       0      使用了正常压缩选项。 -en
 *   0       1      使用了最大压缩选项 (-exx/-ex)
 *   1       0      使用了快速压缩选项。(-ef)
 *   1       1      使用了超快速压缩选项。(-es)
 * 
 * 压缩方法为 14
 * bit 1: 0 -> 不存在EOS标记并且必须知道压缩数据大小才能提取; 1 -> 使用EOS标记压缩数据流的结束
 * 
 * 如果为其他压缩方法
 *  b1 b2不会被用到
 * 
 * 下面不论压缩方法, 均通用
 * bit 3: 0 -> 无用; 1 -> CRC32、压缩大小、压缩前大小在本地标头中设置为0，正确的值放在数据描述符中
 * bit 4: 为压缩方法8保留，用于增强型deflating
 * bit 5: 1 -> 表明该文件是压缩的补丁数据 (需要 PKZIP 2.70 或更高版本) (当对一个超大的已压缩文件进行分块时会用到)
 * bit 6: 强加密，参阅强加密部分
 * bit 7、8、9、10、12、14、15: 保留
 * bit 11 语言编码标志 1 -> 文件名和注释字段必须使用utf8
 */

/**
 * 压缩方法说明
 * 
 * unencrypted              0
 * UnShrinking              1
 * Expanding                2-5
 * Imploding                6   // 1-6不推荐使用
 * Tokenizing               7   // This method is not used by PKZIP.
 * Deflating                8
 * Enhanced Deflating       9
 * PKWARE Data Compression Library Imploding    10
 * BZIP2                    12
 * LZMA                     14
 * IBM z/OS CMPSC Compression   16
 * IBM TERSE                18
 * IBM LZ77 z Architecture  19
 * JPEG variant             96
 * WavPack                  97
 * PPMd                     98
 * AE-x Encryption marker   99
 * 
 * Reserved                 11, 13, 15, 17
 */

/**
 * 时间说明
 * 
 * 日期和时间以标准 MS-DOS 格式编码。
 * 0 - 4    秒 (除以2得到)
 * 5 - 10   分
 * 11 - 15  时
 * 16 - 20  日
 * 21 - 24  月
 * 25 - 31  年 (减去1980年得到)
 */

/**
 * CRC32说明
 * 
 * 
 */

/**
 * 数据描述符说明
 * 
 * 存储以下三个字段，当通用标志 bit3设为1时必须存在
 *      crc-32 4 字节
 *      压缩大小 4 字节
 *      未压缩大小 4 字
 */

/**
 * 加密头
 * 
 * 12字节。经过加密的
 * 
 * 加密数据头：
 * 1、初始化加密秘钥
 *      uint32_t Key[3];
 *      Key(0) = 305419896
 *      Key(1) = 591751049
 *      Key(2) = 878082192
 * 
 * loop for i = 0 to length(password) - 1
 *     update_keys(password(i))  // update_keys定义如下
 * end loop
 * 
 * 2、读取12字节的加密头到buffer[12]
 * loop for i = 0 to 11
 *     C = buffer(i) ^ decrypt_byte()
 *     update_keys(C)
 *     buffer(i) = C
 * end loop
 *
 * 3、说明
 * 经过第二步后已解密完毕
 * 如果PKZIP版本大于2.0则buffer的最后一个字节为buffer前11个字节的CRC校验
 * 如果PKZIP版本小于2.0则buffer的最后两个字节为buffer前10个字节的CRC检验
 * 此处的CRC用于校验密码提供的是否正确
 * 
 * 
 * unsigned char decrypt_byte()
 *     local unsigned short temp
 *     temp = Key(2) | 2
 *     decrypt_byte = (temp * (temp ^ 1)) >> 8
 * end decrypt_byte
 * 
 * update_keys(uint8_t c):
 *   Key(0) = crc32(key(0), c)
 *   Key(1) = Key(1) + (Key(0) & 0xFF)
 *   Key(1) = Key(1) * 134775813 + 1
 *   Key(2) = crc32(key(2),key(1) >> 24)
 * end update_key
 * 
 * crc32(uint32_t old_crc, uint8_t c);
 */


/**
 * 中央目录文件头
 * 
 * central file header signature   4 bytes      中央文件头标识符 (0x02014b50(大端)) 
 * version made by                 2 bytes      版本
 * version needed to extract       2 bytes      提取所需的版本
 * general purpose bit flag        2 bytes      通用位标志
 * compression method              2 bytes      压缩方法
 * last mod file time              2 bytes      最后修改文件时间  时分秒
 * last mod file date              2 bytes      最后修改文件日期 年月日
 * crc-32                          4 bytes      crc-32
 * compressed size                 4 bytes      压缩大小
 * uncompressed size               4 bytes      压缩前大小
 * file name length                2 bytes      文件名长度
 * extra field length              2 bytes      额外字段长度
 * file comment length             2 bytes      文件注释长度
 * disk number start               2 bytes      磁盘号
 * internal file attributes        2 bytes      内部文件属性
 * external file attributes        4 bytes      外部文件属性
 * relative offset of local header 4 bytes      本地头的相对偏移量 (对应的本地文件相对于文件开始的偏移量)
 * 
 * file name                (variable size)     文件名
 * extra field              (variable size)     额外字段
 * file comment             (variable size)     文件注释
 */

/**
 * 提取所需的版本
 * 
 * 
 */

/**
 * 外部文件属性
 * 
 * 高位字节表示文件属性的兼容性，如果外部文件属性与MS-DOS兼容，并且可以被2.04g的DOS版本的PKZIP所读取
 * 则该值为0。如果不兼容，则该值将标识属性兼容的主机系统。
 * 
 *  0 - MS-DOS and OS/2 (FAT / VFAT / FAT32 file systems)
 *  1 - Amiga                     2 - OpenVMS
 *  3 - UNIX                      4 - VM/CMS
 *  5 - Atari ST                  6 - OS/2 H.P.F.S.
 *  7 - Macintosh                 8 - Z-System
 *  9 - CP/M                     10 - Windows NTFS
 *  11 - MVS (OS/390 - Z/OS)      12 - VSE
 *  13 - Acorn Risc               14 - VFAT
 *  15 - alternate MVS            16 - BeOS
 *  17 - Tandem                   18 - OS/400
 *  19 - OS X (Darwin)            20 thru 255 - unused
 * 
 */

/**
 * 数字签名
 * 
 * header signature                4 bytes          数字签名标识符 (0x05054b50(大端))
 * size of data                    2 bytes          签名数据大小
 * signature data              (variable size)      签名数据
 */
 
/**
 * 中央目录记录的zip64结尾
 *
 * signature                       4 bytes  (0x06064b50)
 * size of zip64 end of central directory record                8 bytes
 * version made by                 2 bytes
 * version needed to extract       2 bytes
 * number of this disk             4 bytes
 * number of the disk with the start of the central directory  4 bytes
 * total number of entries in the central directory on this disk  8 bytes
 * total number of entries in the central directory               8 bytes
 * size of the central directory   8 bytes
 * offset of start of central directory with respect to the starting disk number        8 bytes
 * zip64 extensible data sector    (variable size)
 */

 /**
 * 中央目录定位符的zip64结尾
 *
 * signature                       4 bytes  (0x07064b50)
 * number of the disk with the start of the zip64 end of central directory	4 bytes		中央目录以zip64结尾的磁盘编号
 * relative offset of the zip64 end of central directory record 			8 bytes		中心目录记录的zip64结尾的相对偏移量
 * total number of disks           4 bytes 	磁盘总数
 */ 

/**
 * 中央目录记录结尾
 * 
 * end of central dir signature    4 bytes          中心目录结尾标识符 (0x06054b50(大端))
 * number of this disk             2 bytes          当前磁盘编号
 * number of the disk with the start of the central directory  2 bytes      目录区开始磁盘编号
 * total number of entries in the central directory on this disk  2 bytes   本磁盘上纪录总数 
 * total number of entries in the central directory           2 bytes       目录区中纪录总数
 * size of the central directory   4 bytes          目录区尺寸大小 (中央目录总的字节数)
 * offset of start of central directory with respect to the starting disk number  4 bytes
 *                                                  目录区对第一张磁盘的偏移量 (第一个中央目录区在此文件的位置(从0开始计算的值))
 * .ZIP file comment length        2 bytes          ZIP 文件注释长度
 * .ZIP file comment           (variable size)      ZIP 文件注释内容
 */

// gzip文件格式
1、总体说明
    字节序：小端
    bit 0-7: 一个字节有8位最低位为0, 最高位为7, 即
    +--------+
    |76543210|
    +--------+

2、gzip组成
    2.1、
    gzip由一系列的块组成
    块:
    +---+---+---+---+---+---+---+---+---+---+
    |ID1|ID2|CM |FLG|     MTIME     |XFL|OS | (more-->)
    +---+---+---+---+---+---+---+---+---+---+

    (if FLG.FEXTRA set)
    +---+---+=================================+
    | XLEN  |...XLEN bytes of "extra field"...| (more-->)
    +---+---+=================================+

    (if FLG.FNAME set)
    +=========================================+
    |...original file name, zero-terminated...| (more-->)
    +=========================================+

    (if FLG.FCOMMENT set)
    +===================================+
    |...file comment, zero-terminated...| (more-->)
    +===================================+

    (if FLG.FHCRC set)
    +---+---+ +=======================+
    | CRC16 | |...compressed blocks...| (more-->)
    +---+---+ +=======================+

    0   1   2   3   4   5   6   7
    +---+---+---+---+---+---+---+---+
    |     CRC32     |     ISIZE     |
    +---+---+---+---+---+---+---+---+

    2.2、
    ID1(IDentification 1) = 0x1f    (1byte)
    ID2(IDentification 2) = 0x8b    (1byte)
    用ID1和ID2来标识一个块
    CM (Compression Method)         (1byte)
    0 - 7保留
    8表示压缩方法为deflate, gzip通常用的都是这种压缩方式
    FLG (FLaGs)                     (1byte)
    bit 0   FTEXT       // 1: ASCII文本; 0: 二进制数据
    bit 1   FHCRC       // 1: CRC16(位置，压缩数据之前) CRC16由CRC32的两个最低有效字节组成，用于gzip报头的所有字节（不包括CRC16）
    bit 2   FEXTRA      // 1: 将会多一个额外字段
    bit 3   FNAME
    bit 4   FCOMMENT
    bit 5   reserved
    bit 6   reserved
    bit 7   reserved
    MTIME(Modification TIME)        (4byte)
    修改时间, unix时间戳
    自[1970/01/01 00:00:00]以来的秒数
    为0时表示无效
    XFL(eXtra field FLag)           (1byte)
    仅当CM == 8时有用
    XFL = 2 - 压缩器用于最大压缩，最慢算法
    XFL = 4 - 使用最快算法的压缩器
    OS(Operating System)            (1byte)
    0 - FAT filesystem (MS-DOS, OS/2, NT/Win32)
    1 - Amiga
    2 - VMS (or OpenVMS)
    3 - Unix
    4 - VM/CMS
    5 - Atari TOS
    6 - HPFS filesystem (OS/2, NT)
    7 - Macintosh
    8 - Z-System
    9 - CP/M
    10 - TOPS-20
    11 - NTFS filesystem (NT)
    12 - QDOS
    13 - Acorn RISCOS
    255 - unknown
    XLEN(eXtra LENgth)              (2byte)
    仅当FLG.FEXTRA设置才会存在
    CRC32(CRC-32)                   (4byte)
    对未压缩数据进行CRC32检验
    ISIZE(Input SIZE)               (4byte)
    未压缩数据字节数

    2.3、
    Extra field
    +---+---+---+---+==================================+
    |SI1|SI2|  LEN  |... LEN bytes of subfield data ...|
    +---+---+---+---+==================================+
    SI1(subfield ID) = 0x41('A') (1byte)
    SI2(subfield ID) = 0x70('P') (1byte)
    LEN(length) (2byte)