req = requests.get(url)返回的是类对象
其包括的属性有:
(1)req.encoding:返回编码方式
(2)req.text:text返回的是处理过的Unicode型的数据
(3)req.content:content返回的是bytes型的原始数据
content是把内容bytes返回. 而text是decode成Unicode. 如果headers没有charset字符集的化,text()会调用chardet来计算字符集
也就是说text是解码完的数据,调用req.text()就不需要解码了,问题经常出现解码中的类型码是否正确,这个下面在说,先明白text()和content()的区别
假设对获取的内容最终都编码成‘utf-8’的类型text()和content的处理方式如下所示:
requests.get(url).text.encode(‘utf8’,‘ignore’) #如果req.text()自动解码正确,直接编码,自动解码下面介绍
requests.get(url).content.decode(‘gbk’,‘ignore’).encoding(‘utf-8’,‘ignore’) #假设源码是gbk,则需要先解码在编码成utf-8
- 遇到的中文乱码问题
1.1 简单的开始
使用requests来拔取网站内容十分方便,一个最简单的代码段只需要2-3行代码就行。
url = ‘http//www.pythonscraping.com/’
req = requests.get(url)
print(req.t