使用Python3进行网络爬虫的时候,对于某一些网页,使用utf-8编码是没有问题的。比如:
但是对于某些网页,如新浪,它会使用一些非UTF-8的控制字符 (兼容的八位ISO/IEC 8859-1加上了从ISO/IEC 6429定义的从128到159的32个代码,位于0x80-0x9F。)import urllib.request
url = "https://www.baidu.com/"data = urllib.request.urlopen(url).read()reqstr = data.decode('utf-8')
如果我们使用上述程序去“爬”新浪体育
url = "http://sports.sina.com.cn/"
就会得到如下的错误:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
这里的 0x8b 就是控制符:PLD,Partial Line Forward(部分行前移)
为了解决这个问题,大家可以使用兼容控制符的ISO-8859-1编码(即latin-1)解决这个问题。
reqstr = data.decode('latin-1')
最后应当注意的是,我们也应该在程序开头申明
# coding:latin-1