Python:爬取数据出现response.status_code为403解决方法

最新推荐文章于 2024-03-21 19:26:15 发布
最新推荐文章于 2024-03-21 19:26:15 发布
阅读量1.2w 收藏 13
点赞数 5
分类专栏： BUG 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47872288/article/details/120437941
版权

目录

前言

出现403的返回结果
主要是有些服务器为了防止访问量过大，承受服务器的压力，或者是拒绝你的访问。服务器接收到这个信息，理应返回了这个403的信息

在前一块的代码中解决了
Python:爬取数据出现response.status_code为418解决方法

如果还出现了403的访问错误
可以通过如下解决

1. 原理

服务器拒绝访问，可以通过给服务器登录，获取当前的cookie来得到网址的信任。得以爬取该网址的信息

在head头中加入cookie的信息
具体怎么查找该cookie的信息，可以通过登录你要搜寻的网址，点击F12进行查看cookie信息即可

了解本专栏 订阅专栏 解锁全文 超级会员免费看
码农研究僧
关注
  • 5
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
python爬虫返回403错误？加了请求头+代理也解决不了 ＞＞看这
云霄IT的博客
02-15 8815
【疑惑】：使用python的requests库发起get或post请求返回403代码错误，使用postman发起请求发现状态码竟然成功了。首先排除ip问题，ip有问题的话postman也访问不了。难道是headers出现了问题吗，通过对比发现也不是headers的问题。【解疑】：其实遇到这种情况大概率是遇到了“原生模拟浏览器 TLS/JA3 指纹的验证”，浏览器和postman都有自带指纹验证，而唯独requests库没有。这就让反爬有了区分人为和爬虫的突破口。2、使用 pyhttpx 库。
使用scrapy爬虫遇到403错误的解决办法
qq_42984581的博客
09-21 2451
之前使用scrapy爬虫遇到了403错误，参考了别人的解决办法，觉得还挺有用的。 运行代码提示错误：Ignoring response <403 http://basic.10jqka.com.cn/600004/company.html>: HTTP status code is not handled or not allowed 解决办法： 添加user-agent 1、打开开发...
浏览器响应状态码（Response Status Code）大全，Python程序员面试笔试宝典
最新发布
2301_76224054的博客
03-21 392
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。| 3xx | 重定向：表示要完成请求，需要进一步操作。| 2xx | 请求成功：表示服务器成功地接受了客户端的请求。| 状态码 | 含义 |
403错误服务器未响应是什么意思,什么是HTTP ERROR 403？导致403错误的主要原因及解决方法...
weixin_31486261的博客
08-10 5万+
一、什么是HTTP ERROR 403403 Forbidden 是HTTP协议中的一个状态码(Status Code)。可以简单的理解为没有权限访问此站，服务器受到请求但拒绝提供服务。二、HTTP 403 状态码解释大全403.1 -执行访问禁止。403.2 -读访问禁止。403.3 -写访问禁止。403.4要求SSL。403.5 - 128要求SSL。403.6 - IP地址被拒绝。403.7...
python爬取网页时response.status_code返回418，文件读取写入
01-20
问题： response.status_code为418 问题描述： 当我使用Python的requests爬取网页时response和soup都是None，检查后发现response.status_code为418 错误描述： 经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot The HTTP 418 I’m a teapot client error response code indicates that the server refuses to brew coffee because it is a teapot. This
Drishti:在Python3中实现的快速HTTP响应状态检查器
05-08
Drishti：快速的HTTP响应状态检查器 什么是德里希 Drishti是梵语，意为“视线”，指的是凝视技术。 我创建了此工具，以凝视URL的HTTP响应。 它过滤掉无效的网址。 我创建了这个工具供个人使用。 现在将其公开！ 为什么 在Recon期间，您有时可能会得到很多域/子域/ URL端点，当然，普通人不可能一目了然地查看每个域/子域/ URL端点（对我而言，这是不可能的）。 使用Drishti，您可以自动执行此任务，只需将域/ URL粘贴到raw_urls.txt文件中，然后运行该程序。 它将返回域/子域/ URL的状态代码。 Drishti使用aiohttp / asyncio，使该工具异步进行，因此，它比使用requests或urllib的传统python脚本要快得多 如何使用 ： Note : Only works on Python3.7+ mkdir Drishti c
已解决Python爬虫报错＜Response [403]＞
努力让自己发光，对的人才能迎着光而来
11-11 1万+
已解决Python爬虫报错＜Response [403]＞
java.io.IOException: Server returned HTTP response code: 403 for URL
Zyw907155124的博客
07-20 9791
403Forbidden是HTTP协议中的一个可以简单的理解为没有权限访问此站。
java response设置403,java.io.IOException：服务器返回URL的HTTP响应代码：403
weixin_39796533的博客
03-09 989
小编典典您尝试访问的特定Web服务器正在检查User-AgentHTTP标头，并拒绝访问任何看起来不像普通浏览器的内容，以防止出现bot(这可能就是您正在编写的内容)。您只需要在Java中将标头设置为请求的一部分即可使用。设置标题的方式将取决于您进行连接的方式，但是如果您使用的是简单的URLConnection，则可以使用：URLConnection conn = url.openConnecti...
http常用状态码说明
bohu83的博客
04-11 2058
原文地址如下：http://flychao88.iteye.com/blog/1817804300客户端请求一个实际指向多个资源的URL时会返回这个状态码。301在请求的URL已被移除时使用，响应的Location首部中应该包含资源现在所处的URL。 400用于告知客户端发送了一个错误的请求。 401客户端未取得认证。 403请求被服务器拒绝。404服务器无法找到所请求的URL。*********
codaio:适用于Coda API的Python包装器
04-04
适用于 API的Python包装器 codaio处于积极的开发阶段。 问题和公关非常欢迎！ 安装 pip install codaio 通过环境变量配置 如果适用，将从环境中调用以下变量： CODA_API_ENDPOINT （默认值https://coda.io/apis/v1 ） CODA_API_KEY从环境初始化文档时要使用的API密钥 使用原始API的快速入门 Coda类为所有API方法提供了包装器。 如果API响应包含JSON，则会从所有方法中将其作为字典返回。 如果没有字典，将返回{"status": response.status_code} 。 如果请求未成功，则会引发CodaError以及API错误的详细信息。 from codaio import Coda coda = Coda ( 'YOUR_API_KEY' ) >> > coda . create_do
Python-Web自测试卷4.docx
06-11
Python-Web自测试卷4全文共2页，当前为第1页。Python-Web自测试卷4全文共2页，当前为第1页。自测试卷4 Python-Web自测试卷4全文共2页，当前为第1页。 Python-Web自测试卷4全文共2页，当前为第1页。 一、选择题 1.下面哪一个是用来制作网页样式的语言（）。 A. HTML B. CSS C. JavaScript D. Python 2.在HTML中显示下拉列表使用下面哪个标签（）。 A. <select> B. <input> C. <div> D. <img> 3.在Flask中用于实现命令行的工具是（）。 A. Jinja2 B. Werkzeug C. click D. Flask-Script 4.Flask中用于在处理第一个请求前运行的钩子是（）。 A.before_first_request B.before_request C.after_request D. teardown_request 5.下面哪一个不是Flaks Response对象的方法（）。 A. headers B. status C. status_code D
api_requests:Sparta培训-python，http，API，erquests
03-31
Python API API使用示例： import requests url = "http://api.postcodes.io/postcodes/" postcode = "e147le" url_arg = url + postcode print ( url_arg ) response = requests . get ( url_arg ) print ( response . status_code ) print ( " \n " ) # print(response.content) # print("\n") # print(response.headers + "\n") # print("\n") # print(response.history + "\n") # print("\n") # print(response.encoding.isdigit(
Tomcat:HTTP状态 404 - 未找到解决方法
热门推荐
码农研究僧的博客
07-15 11万+
出现如下问题 HTTP状态 404 - 未找到 类型 状态报告 消息 请求的资源[/ajax_war_exploded/]不可用 描述 源服务器未能找到目标资源的表示或者是不愿公开一个已经存在的资源表示。 Apache Tomcat/8.5.69 解决方法如下： 网上中的操作有步操作多数都误导 这个部署的环境目录上面是web.xml 下面的目录路径是web即可不用到webapp 保存重启服务器即可使用 其他配置中启动tomcat的操作具体 JRE 1.8 ...
docker出现Error response from daemon: driver failed programming external connectivity on endpoint解决方法
码农研究僧的博客
09-09 5万+
目录问题所示解决方案 问题所示 出现了如下问题 即简单测试run命令 运行一个简易命令不加端口的tomcat：docker run -d -P --name tomcat01 tomcat docker: Error response from daemon: driver failed programming external connectivity on endpoint tomcat01 (00028237b8dd7b21dbce757be3bf2df0e0fcfa6c3987cac68c42d2
springboot出现Whitelabel Error Page This application has no explicit mapping for /error解决方案
码农研究僧的博客
10-19 5万+
目录前言方法测试程序 前言 一般出现这种问题 Whitelabel Error Page This application has no explicit mapping for /error, so you are seeing this as a fallback. Tue Oct 19 20:54:25 CST 2021 There was an unexpected error (type=Not Found, status=404). No message available 如图所示 方法
出现SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder“.的解决方法
码农研究僧的博客
01-07 5万+
编译ssm的项目的时候出现了这个错误 导致一直运行不起来 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. Logging initializ
springboot:出现Could not transfer artifact org.springframework.boot:spring-boot-等问题解决方法
码农研究僧的博客
08-08 4万+
-Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true Could not transfer artifact org.springframework.boot:spring-boot-starter-parent:pom:2.2.5.RELEASE from/to central (https://repo.maven.apache.org/maven2): D:\maven\course-repository\o
python 实现代码：当response.status_code == 404，continue
03-07
当response.status_code == 404时，代码会跳过当前循环，继续执行下一个循环。这是因为HTTP状态码404表示请求的资源不存在，所以我们可以在代码中通过continue语句跳过这个不存在的资源，继续执行后面的代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农研究僧

你的鼓励将是我创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值