升级scrapy-redis代码，使与更新版本scrapy兼容

最新推荐文章于 2021-03-10 16:35:45 发布

young-hz

最新推荐文章于 2021-03-10 16:35:45 发布

阅读量1w

点赞数

分类专栏：工具&框架探索一淘搜索之网页抓取系统分析文章标签： redis scrapy-redis scrapy

本文链接：https://blog.csdn.net/u012150179/article/details/38087661

版权

scrapy-redis的安装要求是scrapy版本高于0.14，是

摘要由CSDN通过智能技术生成

scrapy-redis的安装要求是scrapy版本高于0.14，随着scrapy关注度的提高，其开发更新速度也越来越快。到现在，其版本已经是于14年7月8号发布的0.24.2。版本升级过程中，对一些类进行了重命名，也有一些变量的类型发生的变化。

现指出在使用scrapy-redis中发现的与scrapy不兼容情况（注意：这里所述的“不兼容”指的并不是不能运行，由于scrapy已经对相应情况进行了处理，所以在非严重情况下只会爆出warnning）。

情况有如下几种：

其中1/2属于rename,而5则是直接废弃掉。

1.关于ItemLoader

/home/jerry/open_source_project/others_project/scrapy-redis/example-project/example/items.py:21: ScrapyDeprecationWarning: example.items.ExampleLoader inherits from deprecated class scrapy.contrib.loader.XPathItemLoader, please inherit from scrapy.contrib.loader.ItemLoader. (warning only on first subclass, there may be others)
  class ExampleLoader(XPathItemLoader):

之前的scrapy.contrib.loader.XPathItemLoader已经弃用，现改为scrapy.contrib.loader.ItemLoader。