scrapy处理重定向

用scrapy爬取网页时出现302状态码,这是网页发生了重定向(在此不解释重定向),如何解决这个问题,只需在settings文件中设置MEDIA_ALLOW_REDIRECTS = True。
我是在爬取文件时初始网页发生重定向无法正常下载,后来解决了这个问题,在下载的时候发生了文件保存错误,路径不对,如果任然使用scrapy自带的pipeline下载文件时一直报错。这时需要改写文件保存的路径就需要重写pipeline方法。

import os
from scrapy.pipelines.files import FilesPipeline
from .settings import FILES_STORE
class SpiderxiaoshuoPipeline(object):
    def process_item(self, item, spider):
        return item
class FilesnamePipeline(FilesPipeline):
    def file_path(self, request, response=None, info=None):
        file_store = FILES_STORE
        name = request.url.split('?')[-1]
        name1 = name.split('&')[2] + '.txt'
        filenmae = os.path.join(file_store,name1)
        return filenmae

这是我改写的Pipeline方法,将爬取的url的链接的Id作为保存文件的名字。

 'spiderxiaoshuo.pipelines.FilesnamePipeline': 1,

将settings文件中的pipiline设置为自己重写的pipeline
改写Pipeline方法是参考https://blog.csdn.net/qq_31235811/article/details/88917771

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Scrapy发出请求时,如果遇到重定向Scrapy会自动处理重定向。默认情况下,Scrapy会遵循HTTP重定向,直到达到最终目标URL或达到最大重定向次数。 如果您想在重定向时执行特定的操作,例如跟踪重定向链或修改请求头,您可以使用Scrapy的`meta`参数。以下是一个示例,演示如何在遇到重定向时跟踪重定向链: ```python import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://www.example.com'] def start_requests(self): for url in self.start_urls: yield scrapy.Request(url, callback=self.parse, meta={'redirect_urls': []}) def parse(self, response): # 从meta参数中获取重定向URL列表 redirect_urls = response.meta.get('redirect_urls', []) # 将当前URL添加到重定向URL列表中 redirect_urls.append(response.url) # 如果存在重定向URL,则跟踪重定向链 if 'Location' in response.headers: location = response.headers['Location'].decode('utf-8') redirect_urls.append(location) yield scrapy.Request(location, callback=self.parse, meta={'redirect_urls': redirect_urls}) else: # 如果没有重定向,则处理响应 yield { 'url': response.url, 'redirect_urls': redirect_urls } ``` 在这个例子中,我们定义了一个名为`myspider`的Spider,并将`start_urls`设置为`http://www.example.com`。我们使用`start_requests`函数创建一个初始请求,并使用`meta`参数传递一个空的重定向URL列表。 在`parse`函数中,我们首先从`meta`参数中获取重定向URL列表。然后,我们将当前URL添加到重定向URL列表中,并检查响应头中是否存在`Location`字段。如果存在,则表示响应是一个重定向,我们将重定向URL添加到重定向URL列表中,并创建一个新的请求,以跟踪重定向链。如果没有重定向,则处理响应。 最后,我们可以通过以下方式启动Spider: ```python from scrapy.crawler import CrawlerProcess process = CrawlerProcess() process.crawl(MySpider) process.start() ``` 在Scrapy日志中,我们可以看到跟踪的重定向链。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值