python3 爬虫遇到请求421问题

最新推荐文章于 2024-01-08 00:00:00 发布
最新推荐文章于 2024-01-08 00:00:00 发布
阅读量1.5k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rongDang/article/details/105438874
版权

问题: 在测试模拟登陆战网时，输入邮箱验证码后请求登录后返回的状态码一直为421

原因：设置的请求头中添加了Host，而战网登录会跳转几次，域名不一样，删除请求头后的host字段后就不再出现请求状态421问题

 

rongDang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
爬虫状态码412状态
shawshank_bingo的博客
04-23 5442
访问"https://www.pudong.gov.cn/zwgk/xqjy-jyjzdgz/2023/104/309147.html"，其中请求头也带上足够字段，但是还是访问还是报错412。本质需要在请求头中带上cookies，但是分析相关请求，但是分析下没有找到获取cookies，底层中肯定是存在获取cookies方式，但是比较耗时。浏览器内部主动获取cookies，然后在请求带上，而我们爬虫使用request没法直接获取cookies。selenium，playwright等模拟浏览器访问。
爬虫碰到状态码412的解决办法
啥也不是
12-06 2万+
爬虫碰到状态码412 近期在使用python的requests库爬取网页时，碰到返回状态码为412的情况 状态码412含义为：Precondition Failed，服务器在验证在请求的头字段中给出先决条件时，没能满足其中的一个或多个。这个状态码允许客户端在获取资源时在请求的元信息（请求头字段数据）中设置先决条件，以此避免该请求方法被应用到其希望的内容以外的资源上。 一、尝试一：添加headers 判断出问题出在请求头上以后，下面我们尝试把网页的所有请求头都带上，注意：这里带的是全部字段，尤其是cook
状态码412,521,cookie包含__jsl_clearance参数
weixin_44388373的博客
08-21 1898
状态码412,521,cookie包含__jsl_clearance=参数 最近做爬虫碰见状态码为412和521的网站,分享一下经验 样例网站: http://kjj.hefei.gov.cn/public/column/2971?sub=&catId=6718761&nav=3&action=list&type=4&pageIndex=1 1.headers参数 用postman检测了一下,发现只需要UA,Host,Cookie参数 ![在这里插入图片描述](htt
《错误集锦》：爬虫时遇到status_code为 412，怎么办
qq_34589842的博客
09-17 7445
错误是什么：HTTP 412错误，(Precondition failed)，是HTTP协议状态码的一种，表示“未满足前提条件”。如果服务器没有满足请求者在请求中设置的其中一个前提条件时就会返回此错误代码。412错误一般是由于要查看的网页设置了，一般是网页中有一个或多个请求标题字段中具有先决条件，这些字段经服务器测试后被认为是”FALSE”。客户端为当前资源的，以便防止请求的方法被用于指定资源外的其他资源,因此该请求无法完成而出现的错误。
Linux系统做网页爬虫常见的错误
weixin_44617651的博客
09-26 371
如果目标网站发现了用户频繁的访问往往就会直接选择几小时限制访问。如果爬虫提取了这些数据，网站所有者就知道它是机器人而不是人类，并可以采取适当的行动。HTTP错误是用户尝试访问网站时发生的错误。它们可能是由许多原因引起的，包括在抓取脚本中没有考虑到的IP块和网站更改。超时是指托管用户尝试抓取的网站的服务器在一定时间内没有响应。IP限制是指网站所有者主动短暂性的限制用户的地址访问其网站。HTTP 403.15 - 禁止访问：客户访问许可过多。HTTP 403.12 - 禁止访问：映射器拒绝访问。
http 412 precondition failed
weixin_34379433的博客
09-11 5520
2019独角兽企业重金招聘Python工程师标准>>> ...
python爬虫逆向 某数4代20位核心加密数组生成逻辑
weixin_43459158的博客
03-24 438
前言 本文无任何理论知识，只有分析流程。感谢大佬们的各种rs文章，能站在巨人肩膀上的感觉真好，另外，公众号：python头等奖 有文章会第一时间发布，欢迎各位大佬关注 正文 准备工作 1.用正则或者其他方法，匹配出第一次请求，返回202或者412状态码的html中的meta标签中的content值 2.用正则取出下方，有一个r="m"标识的，所有js源码 3.在准备工作2的js里，正则匹配出入口函数，直接搜call，就出来了 4.取出准备工作3里面，入口函数call里的第二个参数，至于这两个参数是什么
python爬虫 关于加速乐（_jsl）
CSDN_0109的博客
11-02 875
第一次遇到_jsl的时候花费了一天没弄懂，后面换了台电脑（没弄代理）频率一秒一个网页，相对稳定的抓去了一部分，第二次再换电脑就不行了，可能是大量爬取被识别了。具体原理没有搞懂，大概就是三次请求才能得到真实数据，上代码。三个js的文件也放到文章了。是js的文件 不是py文件。
python爬虫中采集中遇到的问题整理
01-19
今天小编想就爬虫采集数据时遇到的问题进行一个整理，以及在遇到不同的问题时，我们应该想的是什么样的解决思路，具体内容如下分享给大家。 1、需要带着cookie信息访问 比如大多数的社交化软件，基本上都是需要用户...
《Python3网络爬虫开发实战代码》_python3_creaturerl3_python3爬虫_python_
09-29
【Python3网络爬虫开发实战代码】是一本深入讲解...全面讲解了Python3爬虫的各个方面，包括基础语法、网络请求、网页解析、数据存储以及安全测试，为读者提供了丰富的知识和技术储备，是Python爬虫学习者的宝贵资源。
java抓取网页三种方式
04-17
用三种方法实现抓取网页，java语言实现，简单实用，可以运行。
Python3爬虫课程资料代码(34课).rar
06-02
10. **Requests讲解**：Requests库提供了简单易用的接口来发送HTTP请求，支持GET、POST等多种方法，还可以设置请求头、cookies等，是Python爬虫中常用的库之一。 以上就是压缩包中涵盖的Python3爬虫核心知识点，...
Python 笔记 ( requests 请求爬虫 ）
12-21
总之，`requests`库是Python爬虫的重要工具，理解其基本用法和应对策略对于进行网页数据抓取至关重要。通过设置正确的`headers`、观察网络请求和分析源码，我们可以更有效地编写爬虫程序，同时遵循网络礼仪，避免对...
Python-Python3爬虫实战JS加解密逆向教程
08-10
本教程"Python-Python3爬虫实战JS加解密逆向教程"聚焦于如何处理JavaScript加密和混淆的数据，以便在爬虫过程中获取有效信息。这通常涉及到对前端JavaScript代码的理解、逆向工程以及加解密算法的应用。下面，我们将...
HTTP 421 错误
weixin_41111116的博客
12-06 6373
421 错误
python爬虫进阶js逆向实战 | 爬取 破解某安部加速乐cookie
跟着兴趣走，不要被束缚于一种技术
07-16 1494
很很久没有写技术性的文章了,最近打算更新一系列的js逆向实战 今天的网站是某安部的一个加密cookie的分析跟破解 aHR0cHM6Ly93d3cubXBzLmdvdi5jbi9uMjI1NDA5OC9uNDkwNDM1Mi8= 首先打开网站 f12 分析一波 可以看到cookie里有两个加密参数__jsluid_s,__jsl_clearance_s,看到这两个参数基本上就可以判断是加速乐的加密形式,然后走postman 发请求测试一波 没有携带cookie发送请求返回的是一段代码...
爬虫瑞数4案例：网上房地产
最新发布
局外人LZ的博客
01-08 2136
瑞数动态安全 Botgate（机器人防火墙）以“动态安全”技术为核心，通过动态封装、动态验证、动态混淆、动态令牌等技术对服务器网页底层代码持续动态变换，增加服务器行为的“不可预测性”，实现了从用户端到服务器端的全方位“主动防护”，为各类 Web、HTML5 提供强大的安全保护。
HTTP status Code 412 未满足前提条件的解决方法之一
热门推荐
走错路的程序员
02-23 9万+
最近网站老是报告错误.  ajax返回状态为 error 思来想去不知道为啥. 后来跟踪了下,发现是在请求某个页面的时候会返回412错误.  而这个页面的请求是通过jquery  的 $("#panel").load("http://****"); 方法去请求的. 各种百度无果..  只得到一个结果.  412 未满足前提条件 前提条件失败  在服务器上测试前提条
python爬虫遇到的问题
08-13
在你所提供的引用中，有两个问题，分别是： 问题1： requests.exceptions.ConnectionError: HTTPConnectionPool(host='134.175.188.27', port=5010): Max retries exceeded with url: /get (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x0000023AB83AC828>: Failed to establish a new connection: [WinError 10061 由于目标计算机积极拒绝，无法连接。',)) 目标计算机积极拒绝。 问题2： InvalidHeader: Invalid return character or leading space in header: User-Agent import requests headers = { 'User-Agent': ' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4128.3 Safari/537.36' } response = requests.get('http://www.shuquge.com/txt/8659/index.html', headers=headers) response.encoding = response.apparent_encoding html = response.text print(html) 对于问题1，报错信息表明在建立连接时，目标计算机拒绝了连接。这可能是由于网络问题、目标服务器的问题或者是防火墙限制导致的。你可以尝试检查网络连接是否正常，目标服务器是否可访问，并确保没有被防火墙拦截。 对于问题2，报错信息表明在请求头部的User-Agent字段中存在无效的回车符或空格。这可能是由于代码中复制粘贴时引入了额外的空格或回车符导致的。你可以检查代码中的User-Agent字段，确保没有多余的空格或回车符。 希望以上回答对你有帮助。<span class="em">1</span><span class="em">2</span> #### 引用[.reference_title] - *1* *2* [python爬虫（一）入门常见错误集合](https://blog.csdn.net/qq_41600018/article/details/109111380)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值