最近想用scrapy爬虫实现从网页上爬取论文,但是运行之后总不会运行pipeline是函数,从而只能爬到论文下载链接却没办法下载论文。后来经过好几天更改发现了问题:
不知道是不是版本问题,创建好爬虫项目之后,它会自动在pipelines.py中生成一个class,如下所示:
class DownPaperPipeline():
def process_item(self, item, spider):
pass
我为了实现下载后的文件重命名问题,就修改了找个class中的内容,但是一直能爬到下载链接,下载不出东西。最后各种尝试和对比官网资料才发现,这个类需要继承FilesPipeline才有效。修改后的代码如下所示:
from itemadapter import ItemAdapter
import os
from scrapy.pipelines.files import FilesPipeline
import scrapy
class DownPaperPipeline(FilesPipeline):
# def process_item(self, item, spider):
# pass
def get_media_requests(self, item, info):
for file_urls in item['file_urls']:
yield scrapy.Request(file_urls, meta={'item': item})
def file_path(self, request, response=None, info=None):
item = request.meta['item'] # 通过上面的meta传递过来item
name = ''.join(item['names']) + '.pdf'
return '..\papers\\'+ name
修改完成后,顺利下载到东西。