HTTP协议的chunked编码以及用python实现chunked编码的下载

HTTP协议的chunked编码：

　　一般的HTTP Headers 应该包含Content-Length来指名报文的长度。

　　　　

　　但是在有的时候，服务器无法确定HTTP回应的消息的大小，比如非常大的文件的下载，或者处理的逻辑比较复杂，需要一边处理一边实时生成消息（如果全部处理完再生成消息就会有很多缺点，比如用户收到响应的时间就会很长），这个时候服务器一般都使用chunked编码。此时，服务器不会带上Content-Length这个响应头，带上了两外一个头：Transfer-encoding:chunked。

　　chunked编码使用若干个Chunk组成，由一个标明长度为0的chunk结束，每个Chunk有两部分组成，每个部分用回车换行隔开。在最后一个长度为0的Chunk中的内容是称为footer的内容，是一些没有写的头部内容。所以所谓的chunked编码是如下的格式：

　　格式：

如果一个HTTP消息（请求消息或应答消息）的Transfer-Encoding消息头的值为chunked，那么，消息体由数量未定的块组成，并以最后一个大小为0的块为结束。

每一个非空的块都以该块包含数据的字节数（字节数以十六进制表示）开始&