requests--request请求乱码问题

想着本来是要爬取网站https://www.kanunu8.com上所有小说的，但是返回的网页中中文都是乱码。此时处理思路为：

1.查看原网页是什么编码

方法一：右键“查看网页源代码”，一般在源代码头内会有属性charset="gb2312"这样的属性，这个属性规定了网页编码方式；
方法二：查看请求头/响应头，里面可能指定了规定的编码方式。

2.用网页指定的编码方式解码

response=requests.get(url="https://www.kanunu8.com")
print(response.content.decode("gb2312))

诡异的是，还是报错：
‘gb2312’ codec can’t decode byte 0xa8 in position 9668: illegal multibyte sequence
这是怎么回事：
原来，gb2312是中文老的编码方式，最新的编码方式为：gb18030，他的范围更大。出现报错的原因是网页中存在一些诡异的符号，但gb2312并没有收录，所以无法解码了。将上面的gb2312替换成gb18030，就大功告成了。

3.原理

为什么没有中文的时候，直接response.text就可以正常返回网页，而有中文时有时候中文没问题，有时候却乱码了呢？
request请求网页时，其实请求的是二进制数据，需要进一步解码。我们直接用request.text能够返回网页源码实际上中间有个解码的过程，默认的解码方式是utf-8。即使原网页采用gb2312编码，对于英文而言，二者编码结果是一样的，因此utf-8仍然能够解码gb2312编码的英文，因此英文不存在乱码情况。但是中文就不一样了。如果原网页编码方式为gb2312，则默认的utf-8就无法正确解析了。
此时的解决方案为：
1.使用response.encoding指定正确的解码方式

response=requests.get(url,headers=headers,timeout=10)
if response.status_code==200:
    response.encoding="gb18030"
    print(response.text)

2.直接通过response.content返回二进制形式，再通过decode指定正确的解码方式。

response=requests.get(url,headers=headers,timeout=10)
if response.status_code==200:
    response.encoding="gb18030"
    print(response.content.decode("gb18030"))