File "/home/anaconda3/envs/lilt/lib/python3.7/site-packages/pip/_internal/index/collector.py", line 246, in parse_links
parser.feed(page.content.decode(encoding))
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb6 in position 668: invalid start byte
以上问题出现的原因在于解码方式不对, 返回的数据中包含有gbk格式编码的中文,所以报错.修改方法为:
parser = HTMLLinkParser(page.url)
encoding = page.encoding or "utf-8"
try:
parser.feed(page.content.decode(encoding))
except:
encoding = 'gbk'
parser.feed(page.content.decode(encoding))