scrapy爬虫不进入pipelines的解决办法

最近想用scrapy爬虫实现从网页上爬取论文,但是运行之后总不会运行pipeline是函数,从而只能爬到论文下载链接却没办法下载论文。后来经过好几天更改发现了问题:
不知道是不是版本问题,创建好爬虫项目之后,它会自动在pipelines.py中生成一个class,如下所示:

class DownPaperPipeline():
    def process_item(self, item, spider):
    	pass

我为了实现下载后的文件重命名问题,就修改了找个class中的内容,但是一直能爬到下载链接,下载不出东西。最后各种尝试和对比官网资料才发现,这个类需要继承FilesPipeline才有效。修改后的代码如下所示:

from itemadapter import ItemAdapter
import os
from scrapy.pipelines.files import FilesPipeline
import scrapy

class DownPaperPipeline(FilesPipeline):
    # def process_item(self, item, spider):
    #     pass
    def get_media_requests(self, item, info):
        for file_urls in item['file_urls']:
            yield scrapy.Request(file_urls, meta={'item': item})

    def file_path(self, request, response=None, info=None):
        item = request.meta['item']  # 通过上面的meta传递过来item
        name = ''.join(item['names']) + '.pdf'

        return '..\papers\\'+ name
        

修改完成后,顺利下载到东西。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值