Scrapy爬虫返回403错误的解决方案

最新推荐文章于 2024-04-25 13:44:47 发布
最新推荐文章于 2024-04-25 13:44:47 发布
阅读量1.8k 收藏 2
点赞数 2
分类专栏： python 文章标签： python scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fallwind_of_july/article/details/97012459
版权

问题描述：
用scrapy爬虫时，返回403错误，说明该网站对爬虫有所限制

解决方法：
在setting.py文件中增加USER_AGENT配置：

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'

如果后续还一直是403，说明ip地址可能被该网站封了

fallwind_of_july
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy下载不了图片，提示403错误
kjing的专栏
10-14 957
问题：图片链接在浏览器打开没问题，但是在代码里面就是下载不了数据，提示403错误 可能原因： 原因一：抓取的网站有反爬虫机制，需要设置user-agent，Referer，cookie，时间间隔之类的，网上大部分文章也是这样说。 原因二：headers设置问题，这也是我遇到的问题，重点来了，原来ImagePipeline的headers是用settings里面的DEFAULT_REQUEST_HEADERS默认值为基础再叠加上自己设置的headers，也就是说你不止在下载图片的pipeline里面设置
使用scrapy做爬虫遇到的一些坑：网站常用的反爬虫策略，如何机智的躲过反爬虫Crawled (403)
weixin_41931602的博客
06-13 2万+
在这幅图中我们可以很清晰地看到爬虫与反爬虫是如何进行斗智斗勇的。在学习使用爬虫时，我们制作出来的爬虫往往是在“裸奔”，非常的简单。简单低级的爬虫有一个很大的优点：速度快，伪装度低。如果你爬取的网站没有反爬机制，爬虫们可以非常简单粗暴地快速抓取大量数据，但是这样往往就导致一个问题，因为请求过多，很容易造成服务器过载，不能正常工作。于是许多网站为了保护自己的服务器，往往会采用反爬虫技术来“狙击”爬虫，...
Scrapy爬虫 捕获403状态码抛出CloseSpider异常
haipengdai的博客
09-17 1万+
1、爬数据的时候，有时会遇到被该网站封IP等情况，response的状态码为403，那么这时候我们希望能够抛出 CloseSpider的异常。 2、但是如scrapy官网提到的，Scrapy默认的设置是过滤掉有问题的HTTP response(即response状态码不在200-300之间)。因此403的情况会被ignore掉，意思就是我们不是处理这个url 请求的response，直接就忽略
解决Python爬虫报错[403]＞的方法
2301_79779756的博客
04-25 2985
本文将针对Python爬虫在请求网页时遇到的403错误进行解释，并提供可能的解决方案。我们将从报错问题、报错原因以及解决方法三个方面详细阐述。
使用scrapy爬虫遇到403错误的解决办法
qq_42984581的博客
09-21 2539
之前使用scrapy爬虫遇到了403错误，参考了别人的解决办法，觉得还挺有用的。 运行代码提示错误：Ignoring response <403 http://basic.10jqka.com.cn/600004/company.html>: HTTP status code is not handled or not allowed 解决办法： 添加user-agent 1、打开开发...
scrapy爬虫返回403
zxy2011qp的专栏
07-20 1523
由于很多网站有反爬虫的机制，所以需要伪装浏览器，最简单的加上headers。目前没有找到scrapy怎么加headers的方法，只能通过如下修改scrapy的配置。 一、问题描述 有时候用scrapy shell来调试很方便,但是有些网站有防爬虫机制,所以使用scrapy shell会返回403,比如下面 C:/Users/fendo>scrapy shell https:/
Scrapy使用隧道代理403问题解决方案
热门推荐
K哥爬虫
02-03 9万+
Scrapy使用隧道代理访问HTTPS网站不换IP排查 客户现象 快代理隧道代理客户反馈使用隧道代理没有换IP，原因是使用了隧道代理但是目标网站还是403，跳验证码屏蔽等等，用户推断隧道没有更换代理IP 反爬研究 询问用户访问的网站是https://book.douban.com/，豆瓣读书 https://book.douban.com/subject/35313246/?icn=index-latestbook-subject，35313246应该为book的id，需要访问那本书直接更换id即可 自己编
Python爬虫框架Scrapy实例代码
09-20
Scrapy是一个强大的Python爬虫框架，它为网络爬虫提供了完整的解决方案，包括数据抓取、数据处理、数据存储等各个阶段。本实例将演示如何使用Scrapy来爬取腾讯公司的社会招聘信息。 首先，要创建一个新的Scrapy项目...
基于scrapy爬虫实现对imdb数据的采集，并使用flask进行展示.zip
01-03
在这个项目中，我们看到了一个整合了`Scrapy`爬虫框架和`Flask`Web服务的解决方案，用于从IMDb网站抓取数据并将其展示在Web应用上。这个压缩包文件"flask-scrapy-imdb-main"很可能包含了整个项目的源代码和配置文件...
Scrapy Web爬虫框架 v1.3.0
12-03
Scrapy是一个强大的网络...总的来说，Scrapy 1.3.0版提供了一套完善的爬虫解决方案，不仅简化了爬虫开发，还支持大规模数据抓取和复杂逻辑处理。对于Python开发者而言，掌握Scrapy能有效提升网络爬虫开发的效率和质量。
scrapy框架爬虫项目-以东财为例
最新发布
06-21
它提供了从设置中间件到处理请求和响应，再到存储数据的一整套解决方案。Scrapy项目由多个组件组成，如Spiders、Item、Item Pipeline、Downloader Middleware等。 2. **Scrapy项目结构** 一个Scrapy项目通常包含...
Python 利用scrapy爬虫通过短短50行代码下载整站短视频
09-20
Scrapy的灵活性允许你根据需求定制解决方案，而不需要从零开始构建所有基础设施。 总的来说，Python Scrapy爬虫框架为开发高效、可扩展的爬虫提供了强大的支持。通过学习和实践，你可以轻松地构建起自己的网络数据...
scrapy之user-agent池
shengjk1的博客
11-22 4541
常见的反爬策略有很多，今天我们一起跟随小省开始，ua的反爬之旅，咳咳咳，敲黑板喽！直接上代码： 首先建立中间件#!/usr/bin/env python # -*- coding: utf-8 -*- # Create by shengjk1 on 2017/11/8 import random from scrapy.contrib.downloadermiddleware.useragent
Scrapy爬取百度股票时遇403错误的解决方法
sinat_34073684的博客
05-08 5002
用Scrapy爬取百度股票的单支股票信息时，遇到403拒绝访问错误，这应该是触发了反爬机制。 解决方法：通过尝试发现百度股票（http://gupiao.baidu.com）反爬机制是检测User-Agent，因此这里可以通过使用随机User-Agent来进行爬取。
“Failed to scrape node“ err=“Get \“https://:10250/metrics/resource\“: x509: cannot validate故障排除
Q先生
04-03 2557
起因实验环境的metrics-server状态一直是0/1 Running。
scrapy爬取数据到数据库，报错：「class ‘pymysql.err.InternalError‘」: (1241, ‘Operand should contain 1 column(s)‘)
weixin_42490172的博客
07-10 3712
scrapy爬取数据到数据库，报错：[Failure instance: Traceback: <class ‘pymysql.err.InternalError’>: (1241, ‘Operand should contain 1 column(s)’) 这种问题出现的原因是因为你在解析数据的时候出现的问题，不是你解析错误，而是他解析成了列表。 以1688商品名称举例： 这时候他解析出来的数据可能就是：shop_name=[‘定制口罩收纳盒学生存放口罩盒子长方形口罩盒新奇特创意’,‘家居
scrapy 2.5.1 使用中出现的一些问题
qq_45491768的博客
09-13 125
报错 ImagesPipeline requires installing Pillow 4.0.0 or later。
scrapy执行过程中出现的错误分析
You_are_my_dream的博客
03-01 1167
本人使用：python2.7.12 + Scrapy1.0.3    今天在搞scrapy的过程中，出现了下面这种坑爹的错误，找了好久没找到，中间换了好几个Scrapy的版本，还是出错，，发现有个大牛说可能是twisted的错误，试了下，还真是，用Anaconda一键安装Scrapy的时候预装的twisted是17.0.1，用conda install scrapy 重新安装一次就可以了，如
使用Scrapy遇到的问题
梦想是很难很难的，所以先勇敢一点
02-18 2352
twisted.internet.error.TimeoutError 请求超时 在使用 scapy 进行大批量爬取的时候，少数请求链接会出现请求超时，当出现请求超时时，爬虫会自动重试三次。 可以 通过 设置 RETRY_ENABLED = False 来关闭重试机制 若超过 180s 且三次后且还是没有得到数据，就会出现 twisted.internet.error.TimeoutError 错误。 超时时间可以通过DOWNLOAD_TIMEOUT设置 解决办法 降低同时请求的数量 CONCURRE
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值