UnicodeDecodeError的另一种原因

目录

前言

问题的原因

问题的解决

总结

---

前言

前两天我在写一个爬虫程序时遇到了一个问题，当我对服务器传来的网页字节流进行解码时，程序提示UnicodeDecodeError，一般来说，这种问题的常见解决方式就是更改解码所用的字符集，但我尝试很长时间后发现并没有效果，直到我在网上看到了另一种思路，才成功解决，下面来总结一下。

问题的原因

原来，当我们向服务器请求网页时，服务器为了减小所要传输的数据量的大小，节省可用带宽，在浏览器支持的情况下，服务器返回来的数据有时是经过压缩的。

那如何确认当前数据是否经过了压缩呢，我们可以去观察服务器返回消息的消息头，如果消息头中的"content-encoding"字段有值时，就说明是经过了压缩的，如图所示。这个时候我们就需要对服务器传来的数据先进行解压缩然后再进行解码。

问题的解决

观察可知，服务器所用的压缩方式为gzip，所以我们可以通过调用python的gzip库进行解压，解压后再进行decode解码就成功获得了想要的数据。

 def get_html(url):
        headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:90.0) Gecko/20100101 Firefox/90.0'}
        req = urllib.request.Request(url=url, headers=headers)
        res = urllib.request.urlopen(req)
        html = gzip.decompress(res.read()).decode("utf-8")
        return html

值得一提的是,如果使用requests.get()方法来发送网络请求的话，就不会出现这种问题，因为该方法会自动对数据进行解压。

总结

解决问题后反思了一下，问题出现的原因是我对http协议的细节，诸如消息头的具体含义，浏览器与服务器的内容协商机制等还没有熟练的掌握，需要继续进行深入学习。

希望以上内容能为大家提供一点思路，如有错误请批评指正。