升级scrapy-redis代码,使与更新版本scrapy兼容

scrapy-redis的安装要求是scrapy版本高于0.14,随着scrapy关注度的提高,其开发更新速度也越来越快。到现在,其版本已经是于14年7月8号发布的0.24.2。版本升级过程中,对一些类进行了重命名,也有一些变量的类型发生的变化。

现指出在使用scrapy-redis中发现的与scrapy不兼容情况(注意:这里所述的“不兼容”指的并不是不能运行,由于scrapy已经对相应情况进行了处理,所以在非严重情况下只会爆出warnning)。

情况有如下几种:

其中1/2属于rename,而5则是直接废弃掉。

1.关于ItemLoader

/home/jerry/open_source_project/others_project/scrapy-redis/example-project/example/items.py:21: ScrapyDeprecationWarning: example.items.ExampleLoader inherits from deprecated class scrapy.contrib.loader.XPathItemLoader, please inherit from scrapy.contrib.loader.ItemLoader. (warning only on first subclass, there may be others)
  class ExampleLoader(XPathItemLoader):

之前的scrapy.contrib.loader.XPathItemLoader已经弃用,现改为scrapy.contrib.loader.ItemLoader。

2.关于BaseSpider到Spider

/usr/local/lib/python2.7/dist-packages/scrapy_redis/spiders.py:40: ScrapyDeprecationWarning: scrapy_redis.spiders.RedisSpider inherits from deprecated class scrapy.spider.BaseSpider, please inherit from scrapy.spider.Spider. (warning only on first subclass, there may be others)
  class RedisSpider(RedisMixin, BaseSpider):

之前的scrapy.spider.BaseSpider已经rename(文档中用到的词)为scrapy.spider.Spider。http://doc.scrapy.org/en/latest/news.html?highlight=basespider#id6

3.关于ITEM_PIPELINES

 ScrapyDeprecationWarning: ITEM_PIPELINES defined as a list or a set is deprecated, switch to a dict
  category=ScrapyDeprecationWarning, stacklevel=1)

ITEM_PIPELINES现在的数据结构是dict,之前的set和list已经不用了。

4.新版本scrapy中Item_piplines中声明的pipeline后面加上代表数据流经过顺序的0-1000数字。这也是使用dict的原因。

5.HtmlXpathSeletor到Selector

这个不属于rename,连相应的接口函数也改变了,如HtmlXpathSeletor.select()变为了功能一致的Selector.xpath()。

原创,文章链接:http://blog.csdn.net/u012150179/article/details/38087661

发布了105 篇原创文章 · 获赞 69 · 访问量 161万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览