python爬取页面时被gazi压缩以及各种编码方式弄得头脑混乱，在这里理清一下思路和遇到问题解决办法

本文链接：https://blog.csdn.net/qq_40966461/article/details/105119109

问题1：为什么会出现乱码呢？

字符串在python内部的表示是unicode编码，也可以说现在的内存是unicode编码格式，硬盘是utf-8。平常的数据操作都是先把数据读取到内存中，所以内存中都是unicode编码格式。所以我们平常在做编码转换时候，通常用unicode作为中间编码。先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码格式。

比如说你用urllib.request.urlopen()爬取一个页面并用read()读取时，别人页面用的编码是gbk或者其他的编码你用默认的编码方式去print()，就会出现乱码。通俗来说就是你存的方式和读的方式不一样就会有乱码。

问题2：那我怎么判断一个网页用的编码方式是什么？
直接查看网页源代码，找charset=’ ’ 里面的内容就是编码方式
或者下载fiddler去抓包查看

问题3：使用了正确的编码方式但是输出依旧错误
错误：‘utf-8’ codec can’t decode byte 0x8b in position 1: invalid start byte
意思是utf-8编码无法解码字节流0x8b

原因：现在网站为了减小带宽占用，会对传输内容做压缩。nginx就默认开启gzip压缩。通过浏览器(火狐，chrome)f12可以查看当前页面传输格式。’Content-Encoding’
头域指明文件的压缩算法；’Content-Length’指明传输文件的长度；’Transfer-Encoding’指明传输形式，如图中的‘chunked’表示块传输（具体自己百度）。其中’Content-Length’与’Transfer-Encoding’是一对矛盾的存在，而这只能有其一。块传输允许服务器再不知道要回应多少内容时候先传输一部分，在结束时候明显标记技术。

网站会根据客户端的请求决定是否对内容进行压缩，浏览器HTTP请求头有’Accept-Encoding’ 头域指定可以接受的内容形式。

1.解压缩网页需要判断压缩内容开始的位置，压缩内容开始是在http头部结束位置，HTTP协议规定HTTP头域每一个标签结束需要以’\r\n’结束，在头结束位置以’\r\n’与内容分割。也就是http头结束是’\r\n\r\n’，在这之后就是压缩内容。
2.gzip格式是以’0x1f 0x8b’开始的。
3.文件长度：如果未采取块传输，HTTP 响应的 ‘Content-Length’就是压缩内容的长度。如果采取块传输需要缓存每一部分，直到结束。因为压缩不是按块压缩的，而是分块传输的gzip实体。
4.python中解压gzip的方法是使用gzip库
data = gzip.decompress(data)方法