网站被爬虫爬取过多造成502处理过程

最新推荐文章于 2024-04-29 17:35:04 发布
最新推荐文章于 2024-04-29 17:35:04 发布
阅读量3.3k 收藏 1
点赞数
分类专栏： 爬虫 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/at1358/article/details/114363631
版权

每天访问量都到达了好几万，凌晨访问也到达了过万，以前网站白天就1000多的访问量，最近公司也没做啥推广活动，所以这个数据是不正常的

在防火墙查看访问日志

配置阿里云waf防火墙防爬虫配置

配置之后访问量开始下降

匹配上的结果都被拦截掉了，响应防火墙主题码405

 <a href="https://www.yeyouqing.top">YYQ运维技术博客_运维的工作学习之路</a>

at1358
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
巨细！Python爬虫详解（建议收藏）
02-24 2796
爬虫（又称为网页蜘蛛，网络机器人，在 FOAF 社区中间，更经常的称为网页追逐者）；它是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。 如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，他们沿着蜘蛛网抓取自己想要的猎物/数据。 爬虫的基本流程 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我
爬虫那些事儿--Http返回码
fox1987的专栏
08-08 6103
由于爬虫的抓取也是使用http协议交互。因此需要了解Http的各种返回码所代表的意义，才能判断爬虫的执行结果。 返回码如下： 100 Continue 初始的请求已经接受，客户应当继续发送请求的其余部分。（HTTP 1.1新） 101 Switching Protocols 服务器将遵从客户的请求转换到另外一种协议（HTTP 1.1新） 200 OK 一切正常，对GET和POST请求的应答
Python爬虫教程——入门五之URLError异常处理
华秋实的专栏
09-05 3330
大家好，本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理。1.URLError首先解释下URLError可能产生的原因： 网络无连接，即本机无法上网 连接不到特定的服务器 服务器不存在 在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子，先感受下它的风骚import urllib2requset = urllib
访问网站提示502 Bad Gateway的原因和解决方法
最新发布
JttiSEO的博客
04-29 4099
综上所述，解决"502 Bad Gateway"错误需要综合考虑服务器端、网络、代理服务器、应用程序和配置等多个方面可能的问题，并逐一排查和解决。"502 Bad Gateway"错误通常表示服务器作为网关或代理服务器尝试访问上游服务器(如应用服务器或其他代理服务器)，但未能从上游服务器接收到有效的响应。解决方法： 优化服务器配置和性能，增加服务器资源以处理更多的请求，或者实施负载均衡来分担服务器负载。解决方法： 检查上游服务器的运行状态和日志，修复可能的故障并重新启动服务器。
Status Code：状态码
qq_38410428的博客
09-16 1万+
应状态码表示服务器的响应状态，如200代表服务器正常响应，404代表页面未找到，500代表服务器内部发生错误。在爬虫中，我们可以根据状态码来判断服务器响应状态，如状态码为200，则证明成功返回数据，再进行进一步的处理，否则直接忽略。 100 继续 请求者应当继续提出请求。服务器已收到请求的一部分，正在等待其余部分 101 切换协议 请求者已要求服务器切换协议，服务器已确认并准备切换 ...
python爬取网易云音乐评论
04-01
在Python编程领域，爬虫是一项常见的技术，用于自动获取网页数据。...通过分析这些文件，我们可以进一步优化爬虫，比如针对不同歌曲的评论结构进行定制化处理，或者对爬取速度进行调整，避免对服务器造成过大压力。
18 -【嵩天】Python网络爬虫与信息提取1
08-03
例如，https://www.jd.com/robots.txt就是京东的Robots协议，爬虫在抓取网站时应遵循此协议，以避免对网站造成不必要的负担或违反规定。 4. Response对象： 使用requests.get()发送请求后，返回一个Response对象r...
C#多线程爬虫
11-07
9. **爬虫性能优化**：多线程爬虫的性能优化包括合理控制线程数量、使用代理IP防止被目标网站封禁、使用User-Agent模拟浏览器行为、设置爬取速度限制等。 10. **合规性与道德考虑**：在编写爬虫时，必须遵守相关...
网络爬虫初级版（2）
05-29
通过妥善处理这些异常，爬虫在遇到问题时不会立即崩溃，而是可以尝试重新请求或跳过错误，确保整体爬取过程的连续性。 此外，文件名"GetWeb"可能代表了一个用于获取网页内容的函数或者类。在实际爬虫开发中，这样的...
爬虫爬取网站信息
02-20
使用beautiful soup爬取网站评论,，个人信息等（python代码）。
新浪博客小爬虫
10-17
但需要注意的是，爬虫应遵守网络伦理和法律法规，尊重网站的Robots协议，不进行大规模无授权抓取，避免对目标网站造成过大负担。 综上所述，新浪博客小爬虫是一个结合了Python编程、网络爬虫技术、多线程、HTML解析...
服务器状态码502什么意思,Http状态码502问题复盘
热门推荐
weixin_39982017的博客
07-29 2万+
问题原因分析：502 bade gateway 一般都是upstream出错，对于PHP，造成502的原因常见的就是脚本执行超过timeout设置时间，或者timeout设置过大，导致PHP进程长时间不能释放。控制PHP脚本执行时间的配置有两种：php.ini文件中max_execution_time(全局配置)php-fpm.conf中request_terminate_timeout如果这两个...
python爬虫中Response [503]问题
tracefiow的博客
05-04 1万+
503 (Service Unavailable/服务无法获得) 最近我在爬取某漫画网址是，在爬取100多话后就会出现503在循环爬取也是503应该是ip被封禁了 过一段时间就可以了可以代理ip 状态码503 (SC_SERVICE_UNAVAILABLE) 表示服务器由于在维护或已经超载而无法响应。例如，如果某些线程或数据库连接池已经没有空闲则servlet会返回这个头信息。服务器可提供一个Re...
爬虫基本原理及Request和Response分析
weixin_33830216的博客
07-01 772
一、爬虫互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则就只能拿U盘去拷贝数据了。互联网中最有价值的便是数据，爬虫模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放...
爬虫爬取网络评论的爬取过程
04-23
1.确定目标网站和需要爬取的评论页面 2.分析目标网页的结构和内容，确定需要提取的评论内容和相关信息（如评论人、评论时间、评论内容等） 3.编写爬虫程序，通过网络请求获取目标网页的源代码，并使用相应的库/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值