1. 问题
使用Requests去获取网页文本内容时,输出的中文出现乱码。
2. 乱码原因
爬取的网页编码与我们爬取编码方式不一致造成的。如果爬取的网页编码方式为utf8,而我们爬取后程序使用ISO-8859-1编码方式进行编码并输出,这会引起乱码。如果我们爬取后程序改用utf8编码方式,就不会造成乱码。
3. 乱码解决方案
3.1 Content-Type
我们首先确定爬取的网页编码方式,编码方式往往可以从HTTP头(header)的Content-Type得出。
Content-Type,内容类型,一般是指网页中存在的Content-Type,用于定义网络文件的类型和网页的编码,决定浏览器将以什么形式、什么编码读取这个文件,这就是经常看到一些Asp网页点击的结果却是下载到的一个文件或一张图片的原因。如果未指定ContentType,默认为TEXT/HTML。charset决定了网页的编码方式,一般为gb2312、utf-8等
HTML语法格式:station_request = requests.get("http://blog.csdn.net/sunnyyoona")
content_type = station_request.headers['content-type']
print content_type # text/html; charset=utf-8
3.2 chardet
如果上述方式没有编码信息,一般可以采用chardet等第三方网页编码智能识别工具识别:pip install chardet
使用chardet可以很方便的实现文本内容的编码检测。虽然HTML页面有charset标签,但是有些