我们平常在爬虫过程中经常会遇到爬取的网页内容乱码的问题,我们知道肯定是编码的问题。一般情况下,网页编码都是UTF-8形式,但是有时候有一些例外,有可能会是GBK的编码方式。
解决中文乱码问题:
一. 查看网页编码
按F12,进入开发者模式,在最上面找到Console,输入document.charset,如图:
二. 在代码中设置编码方式为步骤一中的方式,例如:
res = requests.get(url)
res.encoding = 'gbk'
html = res.text
我们平常在爬虫过程中经常会遇到爬取的网页内容乱码的问题,我们知道肯定是编码的问题。一般情况下,网页编码都是UTF-8形式,但是有时候有一些例外,有可能会是GBK的编码方式。
解决中文乱码问题:
一. 查看网页编码
按F12,进入开发者模式,在最上面找到Console,输入document.charset,如图:
二. 在代码中设置编码方式为步骤一中的方式,例如:
res = requests.get(url)
res.encoding = 'gbk'
html = res.text