关于使用Python3进行网络爬虫的字符问题

使用Python3进行网络爬虫的时候，对于某一些网页，使用utf-8编码是没有问题的。比如：

import urllib.request
url = "https://www.baidu.com/" 
data = urllib.request.urlopen(url).read()
reqstr = data.decode('utf-8')

但是对于某些网页，如新浪，它会使用一些非UTF-8的控制字符 （兼容的八位ISO/IEC 8859-1加上了从ISO/IEC 6429定义的从128到159的32个代码，位于0x80-0x9F。）

如果我们使用上述程序去“爬”新浪体育

url = "http://sports.sina.com.cn/"

就会得到如下的错误：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

这里的 0x8b 就是控制符：PLD，Partial Line Forward（部分行前移）

为了解决这个问题，大家可以使用兼容控制符的ISO-8859-1编码（即latin-1）解决这个问题。

reqstr = data.decode('latin-1')

最后应当注意的是，我们也应该在程序开头申明

# coding:latin-1