好久没用过scrapy，这两天用到了，写了一个爬虫，今天一运行，竟然报错了，突然一下有点摸不着头脑
因为用到了linkextractor了，网上搜了半天也没有类似的问题，
报错截图
spider部分代码截个图
然后item、pipline、settings、middware一路检查过去，发现都没有问题，最后 有点想放弃了，出去厕了个所，回来突然眼前一亮，发现原来是爬虫继承的父类没有改，为避免下次再遇到这种问题，特记录一下
将父类改为CrawlSpider再次运行，异常解除
在长时间未使用Scrapy后重新编写爬虫，运行时遇到'XX Spider.parse callback is not defined'的错误。排查过程包括检查linkextractor、item、pipeline、settings和middleware，但问题源头在于爬虫继承的父类未正确设置。解决方案是将父类更改为CrawlSpider，从而消除异常。
扫一扫
373
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
