scrapy框架'utf-8' codec can't decode byte 0xd5 in position 248: invalid continuation byte

出现原因：我在利用我的爬虫去爬取某个网站时，突然爆出了这个错误。
可以。错误的大概以为为解码方式不对，不是utf-8，我之前爬其它的主流网站时都没爆出这个错误，但是我爬的报错网站是个老古董，个人感觉老古董网站的编码方式还真是让人无语。回到正题，解码方式基本就两种，不是utf-8,就是gbk两个任意选取。

解决：根据提示，找到G:\Python\Lib\site-packages\scrapy\robotstxt.py的这个文件。在第15行处将utf-8改为gbk即可。其它主流网站的爬取也不会受到影响（目前我爬取的主流网站还没有出现问题）。