scrapy下载图片问题

1.
get_media_requests方法调用一次
2.
file_path方法调用二次
2017-02-10 14:51:32 [scrapy] DEBUG: Crawled (200) <GET http://ojyhagqv7.bkt.clouddn.com/9cn_2017021007f9c6940c907f35490bcffafc5b53d1.png?imageView2/2/w/200> (referer: None)
2017-02-10 14:51:32 [scrapy] DEBUG: File (downloaded): Downloaded file from <GET http://ojyhagqv7.bkt.clouddn.com/9cn_2017021007f9c6940c907f35490bcffafc5b53d1.png?imageView2/2/w/200> referred in <None>
2017-02-10 14:51:32 [PIL.PngImagePlugin] DEBUG: STREAM IHDR 16 13
2017-02-10 14:51:32 [PIL.PngImagePlugin] DEBUG: STREAM gAMA 41 4
2017-02-10 14:51:32 [PIL.PngImagePlugin] DEBUG: STREAM cHRM 57 32
2017-02-10 14:51:32 [PIL.PngImagePlugin] DEBUG: cHRM 57 32 (unknown)
request=== <GET http://ojyhagqv7.bkt.clouddn.com/9cn_2017021007f9c6940c907f35490bcffafc5b53d1.png?imageView2/2/w/200>
4f49e9ef3aea424a8199701fbdc82056----------8f1a52a03cd74c6ebb67e5ae75c41c8a
request=== <GET http://ojyhagqv7.bkt.clouddn.com/9cn_2017021007f9c6940c907f35490bcffafc5b53d1.png?imageView2/2/w/200>
4f49e9ef3aea424a8199701fbdc82056----------f29dbde1f4b24cf28026194afcdac434

3.
最终走
item_completed
方法一次
2017-02-10 14:51:33 [scrapy] DEBUG: Scraped from <200 http://www.9.cn/cx/getList.html?cate=&status=1&order=1&page=1>
{'app_id': '884061d3ce784ec5a8470b87994046cc',
 'id': '4f49e9ef3aea424a8199701fbdc82056',
 'image_paths': ['miniapp/8f1a52a03cd74c6ebb67e5ae75c41c8a.jpg'],
 'image_type': 0,
 'image_urls': [u'http://ojyhagqv7.bkt.clouddn.com/9cn_2017021007f9c6940c907f35490bcffafc5b53d1.png?imageView2/2/w/200']}
2017-02-10 14:51:33 [scrapy] INFO: Closing spider (finished)

总结:
scrapy先crawl一下,再进行下载,所以实际路径是第二个,但是走item_completed方法的是crawl的,所以导致不一致
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值