python爬虫表格数据中文乱码,python爬取网站遇到中文乱码的解决方案

乱码问题1：由于Requests模块带来的乱码。

当HTTP header有指定字符集的时候，会采用指定的字符集。

当HTTP header不存在明确指定的字符集，Requests会去猜测编码方式。

但是这时候不能保证一定会解码正确，可能你get下来的文档都是这样的：

解决办法比较简单，加上这么一句话就行了：get对象.encoding = 'utf-8'

new_url = 'https://baike.baidu.com/item/Python/407313'

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) \

AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}

request = requests.get(new_url, headers = headers)

if request.status_code == 200:

request.encoding = 'utf-8' #关键就在于这一句话上面。

print("request.text= ", request.text)

乱码问题2：由于Windows系统带来的乱码

Windows系统是一个非常奇葩的系统，如果习惯编程的程序猿就会发现，其实Windows一点也不方便好用。

对于编码问题，这一点尤其严重。

Windows系统带来的编码问题，还分为两类，