BUG - 数据爬取返回状态码“521”

最新推荐文章于 2024-04-11 23:41:11 发布
最新推荐文章于 2024-04-11 23:41:11 发布
阅读量6.5k 收藏 18
点赞数 2
分类专栏： BUG总结 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33961117/article/details/92774953
版权

 目录

一、521返回分析和处理思路总结

二、代码实现

2-1 安装必要依赖 - PyExecJS

2-2 根据 521 返回数据生成新的 cookie

2-3 捕获 521 错误，并重新发起请求

一、521返回分析和处理思路总结

521处理 - 参考链接

  • 浏览器访问网站时
    • 第一次请求：返回521状态码和一段js代码。js会生成一段cookie并重新请求访问。
    • 第二次请求：带着第一次得到的cookie去请求然后正确返回状态码200
  • 让爬虫模拟浏览器的行为
    • 将返回的 js 代码放在一个字符串中
    • 利用execjs对这段代码进行解密，并调用js函数
    • 得到cookie放入下一次访问请求的头部中

二、代码实现

最低0.47元/天 解锁文章
LSYHhhhh
关注
  • 2
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
html状态码521,python爬虫 处理521状态码
weixin_39861734的博客
05-31 1197
在抓取数据的时候往往可以通过状态码来判断返回结果，今天在抓取数据的时候碰到了以前没有碰到过得状态码521，输出它的爬取内容(text)，发现是一些js代码。一起探讨一下如何处理521状态码。用charles抓包的时候，发现浏览器对于同一网页连续访问了两次，第一次的访问状态码为521，第二次为200(正常访问)。看来网页加了反爬虫机制，需要两次访问才可返回正常网页。通过对比两次请求，我们发现第二次访...
爬取巴比特快讯遇到状态码“521”
meetliuxin的博客
08-22 1047
最近在爬区块链相关的快讯，上周巴比特改版后重写了爬虫，跑了一天就挂了。原来是网站使用了加速乐的服务，爬虫每次都返回521的状态码。 浏览器访问网站时： 第一次请求：返回521状态码和一段js代码。js会生成一段cookie并重新请求访问。 第二次请求：带着第一次得到的cookie去请求然后正确返回状态码200 而爬虫不能像浏览器一样执行js所以一直报错...
Python爬虫打印状态码为521，返回数据为乱码？
m0_74972727的博客
03-09 562
注意：如何已添加cookie，出现断网情况，需要重新获取cookie。
JavaWeb中HTTP响应状态码
最新发布
2401_84024343的博客
04-11 844
针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。希望可以帮助到大家。下面的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题（都整理成文档，小部分截图）最新整理电子书一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
521
aoan1126的博客
07-09 123
关于521 时间限制：1000ms | 内存限制：65535KB 难度：2 描述 Acm队的流年对数学的研究不是很透彻，但是固执的他还是想一头扎进去。 浏览网页的流年忽然看到了网上有人用玫瑰花瓣拼成了521三个数字，顿时觉得好浪漫，因为每个男生都会不经意的成为浪漫的制造者。此后，流年走到哪里都能看到5、2、1三个数字，他怒了，现在他想知道在连续的数中有多少...
requests 返回 521
PresleyR的博客
07-15 354
网页端抓数据免不了要跟JavaScript打交道，尤其是JS代码有混淆，对cookie做了手脚。找到cookie生成的地方要费一点时间。 那天碰到这样一个网页，用浏览器打开很正常。然而用requests下载URL却得到“521”的状态码，返回的内容是一串压缩混淆的JavaScript代码。就是下面这个样子： 返回的是JavaScript就好说了。肯定是浏览器运行这段JavaS...
爬虫返回状态码“521” 解决方案 | 设置Cookie解决
用途：中英文学习笔记，如有侵权，可评论留言，及时清理；学历：NUS计算机硕士；SYSU地球物理学士
04-12 5373
问题：在爬虫某个网页时，返回状态码为”521“，如何解决？ Code: import requests def get_one_page(url): headers = { 'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36' } respons
微信小程序入门bug--页面跳转，js数据无法在wxml中出现
03-29
bug--描述： 在实现页面跳转的时候，js数据无法在wxml 中渲染（不知道这个词对不对，有点逼格），没有出现 (此图片来源于网络，如有侵权，请联系删除! )   要跳转页面的js   //detail.js var app = getApp() Page...
Bug-Tracking-System.zip_bug tracking java
09-22
【标题】：“Bug-Tracking-System.zip - bug tracking java” 这个项目是一个基于Java和JSP的bug跟踪系统，主要用于软件开发过程中的错误管理和修复流程。在软件开发中，Bug跟踪系统是至关重要的工具，它帮助团队...
bug-流程1
08-03
bug-流程1
《研发日记，Matlab/Simulink避坑指南(七)-数据溢出钳位Bug》Demo工程
02-01
在一个嵌入式软件项目中，需要将一个有符号数转换成无符号数，并把超出范围的值钳位在合理...在使用Simulink中的Data Type Conversion模块和Saturation模块，进行数据处理时出现了Bug，对其排查和优化。Demo工程如上。
bug-trackr:使用 MERN Stack 构建错误跟踪器
05-30
Bug Trackr（前端） 要检查后端的代码，您可以访问 在此处查看已部署的站点 --->部署的初始版本使用的技术ReactJs 社会保障局引导程序无花果VS代码学到的东西了解了 React 及其工作原理。 了解了 SCSS（CSS 预...
python 爬虫返回521
qq_41879417的博客
09-29 1420
今天爬取网站返回状态码521，经过分析发现是JS混淆加密，以下是具体破解代码： import execjs import re import requests import time url = 'http://www.mps.gov.cn/n2254536/n2254544/n2254552/n6636622/n6636639/c6641737/content.html' headers ...
爬虫之遇到521，破解cookie之window对象
retime123的博客
03-31 662
使用python、scrapy import execjs# 安装pip install PyExecJS 用这种方式只是为了调试，实际使用中还是要用js引擎v8 看了不少博客是要用到模拟浏览器phantomjs、chrome什么的，其实有很多网站的js会发现这种操作（无头模式下navigatoe.webdriver为true，绕过检测要设置该属性）。 下面一个网站为例（具体网站不公开！...
响应码521与国家企业信用信息公示系统js解析
fengxueersui的博客
07-19 2840
所谓的521是网络在请求是返回的状态码为521，并且反回一段js，js执行后会生成一段cookie，携带cookie再次向服务器发送请求，才可以请求成功，而且ip和cookie绑定，切换ip需要重新获取cookie 原理还是比较简单的，难度在于js的执行，如果使用selenium这个问题还是比较容易处理，但是爬虫讲究的是速度和高效，本文深度剖析一下521中返回的js具体执行过程 以国家企业信用...
爬虫回响521_请教各位，python编写爬虫，返回http error 521怎么解决
weixin_39749501的博客
12-20 1149
import urllib.requestimport urllib.parseimport urllib.errorimport reimport randomdef open_url(url):req_header = {'Connection': 'Keep-Alive','User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) ...
HTTP STATUS CODE: 521的解决办法
weixin_30677073的博客
03-13 3449
https://blog.csdn.net/wangdepei/article/details/84798601 转载于:https://www.cnblogs.com/yuyu666/p/10524099.html
爬虫521应对
qq_42636010的博客
06-28 881
要做一个动态ip池，结果爬ip地址的时候遇到一个网站返回521 百度后根据前人的经验得知这种网站是有两次请求，第一次请求返回一个cookie（这时候状态是521），然后第二次请求带着这个cookie请求就会又得到一个cookie，这个cookie可以用第一次请求返回的js代码获得，用这两个cookie同时请求才能获得正确的response。而且两次请求的User-Agent一定要一样所以要设置he...
selenium 状态码521_sqlmap对状态码404处理的bug
05-18
Selenium状态码521表示Web服务器拒绝了连接，这通常是由于CDN（内容分发网络）的限制造成的。在这种情况下，您可以尝试更改您的IP地址或使用代理服务器来绕过限制。 至于SQLMap处理状态码404的问题，您可以使用`--...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值