解决python爬虫中文乱码问题

req = requests.get(url)返回的是类对象

其包括的属性有：

（1）req.encoding:返回编码方式

（2）req.text：text返回的是处理过的Unicode型的数据

（3）req.content：content返回的是bytes型的原始数据

content是把内容bytes返回. 而text是decode成Unicode. 如果headers没有charset字符集的化,text()会调用chardet来计算字符集

也就是说text是解码完的数据，调用req.text(）就不需要解码了，问题经常出现解码中的类型码是否正确，这个下面在说，先明白text（）和content（）的区别

假设对获取的内容最终都编码成‘utf-8’的类型text（）和content的处理方式如下所示：

requests.get(url).text.encode(‘utf8’,‘ignore’) #如果req.text()自动解码正确，直接编码，自动解码下面介绍

requests.get(url).content.decode(‘gbk’,‘ignore’).encoding(‘utf-8’,‘ignore’) #假设源码是gbk，则需要先解码在编码成utf-8

1. 遇到的中文乱码问题

1.1 简单的开始

使用requests来拔取网站内容十分方便，一个最简单的代码段只需要2-3行代码就行。

url = ‘http//www.pythonscraping.com/’

req = requests.get(url)

print(req.t