Python Scrapy 302 重定向导致Closing spider (finished)，想要继续运行（已解决）

最新推荐文章于 2022-06-30 15:19:39 发布
最新推荐文章于 2022-06-30 15:19:39 发布
阅读量2.1k 收藏 3
点赞数 2
分类专栏： scrapy 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43890347/article/details/119450116
版权
该博客主要讨论了在使用Scrapy爬虫时遇到的302重定向问题，错误日志显示爬虫被重定向到防爬虫页面。为了解决这个问题，博主提出了在每个Request请求中添加`dont_filter=True`参数的方法，以确保爬虫能够继续执行并避免过滤重复请求。这有助于爬虫继续抓取目标网页，防止因重定向导致的爬取中断。
摘要由CSDN通过智能技术生成

错误描述如下

2021-08-06 11:08:25 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://tv.sohu.com/upload/static/special/anti-reptile/index.html> from <GET https://so.tv.sohu.com/list_p1101_p2_p3_p4_p5_p6_p7_p8_p9_p102_p11_p12_p13_p14.html>
2021-08-06 11:08:25 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://tv.sohu.com/upload/static/special/anti-reptile/index.html> from <GET https://so.tv.sohu.com/list_p1100_p2_p3_p4_p5_p6_p7_p8_p9_p102_p11_p12_p13_p14.html>
2021-08-06 11:08:25 [scrapy.core.engine] INFO: Closing spider (finished)

想要继续运行下去
解决如下：
在每次Request请求里添加 dont_filter=True

yield scrapy.Request(url=url
最低0.47元/天 解锁文章
孜然不辣
关注
专栏目录
Scrapy爬虫返回302重定向问题解决方法
sapphire_wei的博客
11-20 5461
爬取页面时302重定向导致response页面与实际需要爬取的页面信息不一致。 解决方法： 有些网站需要检查cookies头部信息，这样无需登录就能进行访问，所以可以在settings中添加头部信息cookies，即可正常进行爬取操作 DEFAULT_REQUEST_HEADERS = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; ...
[Python]网络爬虫（12）：爬虫框架Scrapy的第一个爬虫示例入门教程
热门推荐
汪海的实验室
02-23 21万+
爬虫框架Scrapy的第一个爬虫示例入门教程。 我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。 首先先要回答一个问题。 问：把网站装进爬虫里，总共分几步？ 答案很简单，四步： 新建项目 (Project)：新建一个新的爬虫项目 明确目标（Items）：明确你想要抓取的目标 制作爬虫（Spider）：制作爬虫开始爬取网页 存储内容（Pipeline）：设计管道存储爬取内容 好的，基本流程既然确定了，那接下来就一步一步的完成就可以了。
Spider closed (finished) 没完成
jacke121的专栏
12-29 1万+
我猜测是scrapy的robot协议没关闭吧？ settings.py中 1 2 #robots协议,True的话是遵守协议,所以要False关掉 ROBOTSTXT_OBEY=False
【Scrapy】301、302重定向问题原因及解决办法
xiangxiang613的专栏
02-26 7862
Scrapy的301、302重定向问题原因及解决办法 根据 HTTP标准 ，返回值为200-300之间的值为成功的response。 Scrapy运行爬虫过程中，目标网站返回301或302，而没有获取到想要的网页内容，表示请求失败。eg： 2019-02-13 17:18:32 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2019-02-13 17:18:33 [scrapy.downloaderm
scrapy天猫爬取302问题和centos服务器运行scrapy脚本报错 import twisted.persisted.styles
weixin_42357472的博客
01-04 441
抓取天猫的时候被302拒绝，后面setting设置cookie解决， Disable cookies (enabled by default) COOKIES_ENABLED =False 我的理解是，如果没有自定义cookies而 使用scrapy自带的cookies，会被网站识别为机器人，因此如果爬虫不需要使用cookies，那就先把它禁掉。 ...
Scrapy解决302重定向问题
weixin_42320181的博客
05-24 5543
在使用scrapy爬取网站数据的时候遇到了302重定向问题，可以在Request中添加meta参数。 yield scrapy.Request(url, callback=self.parse, meta={'dont_redirect': True, 'handle_httpstatus_list': [302]}) 'dont_redirect’是禁止重定向。 'handle_httpstatus_list’是scrapy可以处理的响应状态码。 因为scrapy默认只能处理状态码在200-300之间的响
【Scrapy】学习记录2_爬虫Spider
ShirleyPaul_SmallWorld
11-08 1719
items.py：用来定义需要保存的变量，其中的变量用Field来定义，有点像python的字典 pipelines.py：用来将提取出来的Item进行处理，处理过程按自己需要进行定义spiders：定义自己的爬虫 =========================================== 1.测试示例爬虫 直接执行quotesbot示例工程spiders中爬虫toscrap
python：scrapy 一个网站爬虫库
一名小测试
10-25 733
Scrapy是一个用于抓取网站和提取结构化数据的应用框架，可用于广泛的有用应用，如数据挖掘、信息处理或历史档案。也可以使用api提取数据，或者作为一个通用的web爬虫。 安装 C:\Users\lifeng01>pipinstallscrapy Collectingscrapy DownloadingScrapy-2.5.1-py2.py3-none-any.whl(254kB) |████████████████████████████████|254kB58...
python3下使用scrapy实现模拟用户登录与cookie存储 —— 基础篇（马蜂窝）
Kosmoo的博客
03-19 1万+
python3下使用scrapy实现模拟用户登录与cookie存储 —— 基础篇（马蜂窝） 1. 背景 相关基础知识点回顾： python3下使用requests实现模拟用户登录（马蜂窝）： http://blog.csdn.net/zwq912318834/article/details/79571110 2. 环境 系统：win7 python 3.6.1 scrapy 1...
Scrapy -- 解决302重定向
MarkAdc的博客
04-23 2102
代码 yield Request(url, meta={ 'dont_redirect': True, 'handle_httpstatus_list': [302] }, callback=self.parse)
scrapy框架开发爬虫实战——采集BOSS直聘信息【爬虫进阶】
万锦
10-11 4521
项目GitHub https://github.com/liuhf-jlu/scrapy-BOSS- 爬取任务 时间：2019年8月28日 爬取内容：BOSS直聘上的北京市python岗位的招聘信息 链接：https://www.zhipin.com 创建项目 #创建项目 scrapy startproject BJ 创建爬虫 #进入项目目录下 cd BJ...
Scrapy爬虫遇见重定向301/302问题解决方法
WuYan_Emperor的博客
06-30 2108
在scrapy爬取数据时，遇到重定向301/302，特别是爬取一个下载链接时，他会直接重定向并开始下载，在下载之后才会返回爬取的链接，这时候就需要中止重定以下302都可以换成301，是一样的。
Python实战演练之scrapy初体验
甫式人生
03-03 700
最近一直在做网络爬虫的练习，现在对整个爬取过程做个总结。 配置： 电脑：MacBook Pro 系统：macOS Catalina 10.15.3 Python版本：3.8 Python IDE：PyCharm 数据库：Mysql 数据库管理工具：Navicat Premium 正式进入正题 scrapy初体验 scrapy安装我前面有在macOS成功在python3环境下安装Scrapy中提到，...
scrapy学习笔记
唐僧不爱八戒
03-31 2285
scrapy是python最有名的爬虫框架之一，可以很方便的进行web抓取，并且提供了很强的定制型，这里记录简单学习的过程和在实际应用中会遇到的一些常见问题 Scrapy运行流程大概如下： 引擎从调度器中取出一个链接(URL)用于接下来的抓取 引擎把URL封装成一个请求(Request)传给下载器 下载器把资源下载下来，并封装成应答包(Response) 爬虫解析Response 解析...
scrapy爬虫错误一：无法爬到期望的数据
qq_15054345的博客
02-07 7815
最近在开始学习scrapy爬虫，遇到了一处很坑的地方，在屏幕上输出的debug信息总是没有任何结果就直接提示：  [scrapy.statscollectors] INFO: Dumping Scrapy stats ............... ............. [scrapy.core.engine] INFO: Spider closed (finished)，然后程序就...
Scrapy 修改爬虫结束时统计数据中的时间为当前系统时间
涞公子的博客
05-10 1059
Scrapy 修改爬虫结束时统计数据中的时间为当前系统时间一、问题背景二、问题分析三、解决方法四、效果展示 一、问题背景 scrapy 在每次运行结束后都会显示一堆统计数据信息，其中是有统计时间数据的，但是！！！那个时间是 UTC 时间（0时区），不是我们平时习惯的系统本地时间，而且里面的爬虫总运行时间是以秒计算的，不符合我们的日常习惯，于是我翻了下scrapy 的源码，找到其中相关的内容并将其重写了一遍，感觉还行，各位看官随缘取之！ 二、问题分析 通过日志信息，找到对应的统计爬虫运行时间的类：scrapy
python从网上获取数据失败怎么解决_求助：scrapy爬取数据失败，反复调试都不成功...
weixin_39990819的博客
12-09 979
目标：爬取某一学习网站上课程信息，前期调试仅获取课程名称爬虫文件：import scrapyfrom xtzx.items import XtzxItemfrom scrapy.http import Requestclass LessonSpider(scrapy.Spider):name = 'lesson'allowed_domains = ['xuetangx.com']start_url...
scrapy爬虫使用简明教程
学习机器学习
10-01 1148
目录 一、基本框架介绍 二、安装与基本命令 三、scrapy框架基本使用及完整案例 四、各组件的一些用法说明 一、基本框架介绍 Scrapy框架介绍： Scrapy是: 由Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多...
Scrapy爬虫遇到301、302重定向问题解决办法
Acheng123的博客
05-12 9323
PS：有需要爬取网站数据的老板可以联系我，微信：n389660610 根据 HTTP标准 ，返回值为200-300之间的值为成功的response。 Scrapy运行爬虫过程中，目标网站返回301或302，而没有获取到想要的网页内容，表示请求失败，如下： 2021-02-13 17:18:32 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2021-02-13 17:18:33 [scrapy.dow
python数据分析案例2-1：Python练习-Python爬虫框架Scrapy入门与实践
childboy的博客
08-07 1591
本文建立在学习完大壮老师视频Python最火爬虫框架Scrapy入门与实践,自己一步一步操作后做一个记录(建议跟我一样的新手都一步一步进行操作). 主要介绍: 1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式 = 抓取目标: 本文通过网页豆瓣电影排行数据的抓取和清洗,介绍Pyth.
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值