获取到的内容乱码如下:
今天遇到一个网页,爬取到的内容都是这种方块,问号等乱七八糟的乱码,看响应的类型也是utf-8。
想把乱码解码后再编码也失败了,搞得人头大无比,都想张口来句C语言。
苦寻良久,各种方法尝试之后,决定跳出编码的范围,来重新看待问题,果然,没过多久让我找到病症之所在,原来是请求头传递的Accept-Encoding参数请求了br格式的压缩包,这种格式请求的时候不会自动解压,而前面的那个gzip则会自动解压,所以问题就在这里了我们将这个br删掉,就可以得到正常的数据了,完全不用花里胡哨的操作