python爬取网页：‘gbk/utf-8‘ codec can‘t decode byte xx in position xx : illegal multibyte sequence的问题

今天在用python爬某51网址时，用以下代码获取指定网址的数据

无论编码格式是gbk、utf-8、或者gb18030都会报错：

“gbk/utf-8”编解码器无法解码位置xx处的字节xx：非法多字节序列

对于这种问题考虑不是编码的问题，查看一下网页的数据包：

可以看到 Content-Encoding 的类型为gzip，对比一个可以正常爬取的网址：

  可以发现一个是gzip一个是br。

  那么问题就出现了，第一个网址返回的数据是经过压缩的，也就是说我们要先解压，不然就会导致数据编码溢出的问题。导入gzip包，添加以下代码

def ungzip(data):
    try:
        data=gzip.decompress(data)
    except:
        pass
    return data

然后在html = response.read().decode("utf-8")处用调用函数

html = ungzip(response.read().decode("gbk"))

  顺便说一下该网址进行了修改，现在的数据在window.__SEARCH_RESULT__ 中，网页源码并不会像以前一样直接显示数据