出现原因:我在利用我的爬虫去爬取某个网站时,突然爆出了这个错误。
可以。错误的大概以为为解码方式不对,不是utf-8,我之前爬其它的主流网站时都没爆出这个错误,但是我爬的报错网站是个老古董,个人感觉老古董网站的编码方式还真是让人无语。回到正题,解码方式基本就两种,不是utf-8,就是gbk两个任意选取。
解决:根据提示,找到G:\Python\Lib\site-packages\scrapy\robotstxt.py的这个文件。在第15行处将utf-8改为gbk即可。其它主流网站的爬取也不会受到影响(目前我爬取的主流网站还没有出现问题)。