python 爬虫错误记录

1、UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcf in position 116: invalid continuation byte

问题原因：html = response.read().decode('utf-8')，代码里面这样读取网页，但是目标小说网站的网页编码为gbk

解决办法：html = response.read().decode('gbk') 改为gbk编码即可

2、BeautifulSoup解析页面后信息丢失

问题分析：soup = BeautifulSoup(result,"lxml")，找资料和查证发现是因为使用“lxml”的原因。

解决办法：soup = BeautifulSoup(html, 'html.parser') 改为html.parser

（看别人说html.parser性能比较差，因为接触Python太浅暂时Mark，以后再做深入调查）