使用CDN的User-Agent反爬虫（附名单）

最新推荐文章于 2021-03-18 04:15:24 发布

「已注销」

最新推荐文章于 2021-03-18 04:15:24 发布

阅读量638

点赞数

分类专栏：建站经验

本文链接：https://blog.csdn.net/qq_34759632/article/details/105566154

版权

博主发现CDN费用增加源于未知爬虫的高频访问，分享了利用CDN（以又拍云为例）的User-Agent防盗链功能来反爬的方法，并提供了一些被标记为恶意的爬虫User-Agent名单。

摘要由CSDN通过智能技术生成

我的主博客是可定博客(https://wnag.com.cn/)
原文链接：使用CDN的User-Agent反爬虫（附名单）

这几天发现CDN上的钱去的有点快，后台一查，有爬虫在后台爬了几千次，还是自己不认识的。因此如果你有用CDN的话，可以用CDN的User-Agent反爬虫。

这里以又拍云为例，CDN后台 - 访问控制 - User-Agent防盗链

附下一些恶意爬虫的名单：

*FeedDemon*
*BOT/0.1(BOTforJCE)*
*CrawlDaddy*
*Java*
*Jullo*
*Feedly*
*UniversalFeedParser*
*ApacheBench*
*Swiftbot*
*YandexBot*
*AhrefsBot*
*jikeSpider*
*MJ12bot*
*ZmEuphpmyadmin*
*WinHttp*
*EasouSpider*
*HttpClient*

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

「已注销」

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

7策略1保护：轻松构建Nginx反爬虫防线

java专栏

09-27

728

嘿，朋友们！欢迎回到我们的小课堂。上一次，我们聊了为什么需要反爬虫，现在，让我们来认识一下今天的主角——Nginx！想象一下，如果有人不停地敲你的门，你是不是会觉得很烦？同样，我们的网站也不希望被爬虫不停地访问。访问频率限制就是设置一个规则，比如每分钟只能敲10次门，超过这个次数就不再欢迎了。我们需要定义一个共享内存区域来跟踪每个IP的请求次数。在httphttp {：这是一个指令，用来定义一个共享内存区域。：这是Nginx内置变量，代表客户端的IP地址。：定义了共享内存区域的名称（

[Python3.x]网络爬虫（一）：利用urllib通过指定的URL抓取网页内容

zhangyaping123的博客

05-25

5120

1.爬百度首页, 方法1:#!/usr/bin/python # -*- coding: UTF-8 -*- import urllib.request response = urllib.request.urlopen('http://www.baidu.com/') html = response.read(); print(html);方法2:#!/usr/bin/python # -*-

参与评论您还未登录，请先登录后发表或查看评论

使用CDN的User-Agent反爬虫（附User-Agent恶意爬虫名单）

Cordinovet的博客

04-16

1449

我的主博客是可定博客(https://wnag.com.cn/) 原文链接：使用CDN的User-Agent反爬虫（附名单）这几天发现CDN上的钱去的有点快，后台一查，有爬虫在后台爬了几千次，还是自己不认识的。因此如果你有用CDN的话，可以用CDN的User-Agent反爬虫。这里以又拍云为例，CDN后台 - 访问控制 - User-Agent防盗链附下一些恶意爬虫的名单： *Feed...

爬虫与反爬虫

L--certain

09-30

325

爬虫与反爬虫：

HTTP 头信息Vary对Reverse Proxy的作用

fishyych

09-22

197

原文出自http://mark.koli.ch/2010/09/understanding-the-http-vary-header-and-caching-proxies-squid-etc.html作者是Mark S. Kolich 就是简单的对vary进行一下介绍，方便大家理解，下面是一个简单的翻译我从来没有过多关注http的vary header。事实上，我非常幸运在过去的很长时间...

数据爬取-奇技淫巧系列1——抓取隐藏在CDN，防爬代理等服务后面的数据

chijiaodaxie的博客

05-17

8113

准备写个数据爬取的技巧系列Blog，不定时更新互联网上爬虫和反爬大战已愈演愈烈，不同段位的选手在相互交锋，有时候爬数据采用比较温和的方式就能获取到，但是碰到难啃的骨头，就必须要采用一些奇技淫巧，于是就有了该系列。该系列主要提供思路，很少涉及细节系列第一篇，主要对付隐藏在CDN，防爬代理服务器后面的网站，怎么做呢，分如下几步：想方设法找到网站的真实IP（比如找子域名，多节点Ping...

python爬虫进阶（七）：应对反爬虫的策略

qq_36032990的博客

08-21

1922

在之前的学习中也了解到一些反爬与应对反爬的策略，见这篇博客。一、服务器处理web请求流程 client >> DNS（运营商） >> CDN >> proxy >> host >> Apach >> PHP 二、网站反爬虫 1、网站如何发现爬虫？（1）单一IP非常规的访问频

爬虫实战7-应对反爬虫的策略

Duxianzi的博客

08-16

3179

文章说明：本文是在学习一个网络爬虫课程时所做笔记，文章如有不对的地方，欢迎指出，积极讨论。

对抗cloudflare载入页反爬虫防护（已失效）.zip

最新发布

12-30

1. **Cloudflare的反爬虫机制**：Cloudflare的反爬策略主要包括JavaScript验证码、User-Agent检测、IP行为分析、 капча（CAPTCHA）测试、IP黑名单和IP地理位置限制等。这些机制旨在区分人类用户和自动化工具，...

时下流行的浏览器User-Agent大全(9038条数据)分为sql版本和excel版本，2018-1-27更新

09-27

自己收集的User-Agent数据，分享给大家使用大概九万条数据，可以用来做采集伪造信息使用

假冒谷歌爬虫成为第三大 DDoS 攻击工具

上帝之手

11-05

2678

在安全牛之前发布的文章《Prolexic发布2014年第一季度全球DDoS攻击报告》中，我们了解到采用“反射放大”技术发起的攻击流量比上一季度增加了39%，同时攻击者也在不断发掘利用其他一些互联网基础服务来发动DDoS攻击，例如今年3月安全公司Sucuri发现黑客利用超过16.2万WordPress网站的Pingback功能进行大规模DDoS放大攻击。近日，新的研究表明，假冒谷歌爬虫已经成

Python 爬虫心得

Akatsuki的博客

07-17

4032

最近我写的爬虫在爬取数据的时候变得不太好用了，两三天前还是可以正常爬取数据的，今天运行的时候返回了空值。我打开源代码，将抓取的网页内容print出来看了一下，发现返回了这样一个网页： <html style="height:100%"> <head> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> ...

关于反爬虫，看这一篇就够了

博客

06-30

7789

声明：本文CSDN作者原创投稿文章，未经许可禁止任何形式的转载。编者：文来自携程酒店研发部研发经理崔广宇在第三期【携程技术微分享】上的分享，以下为整理的内容概要。课件：分享Slides和视频。责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件qianshg@csdn.net，另有「CSDN高级架构师群」，内有诸多知名互联网公司的大牛架构师，欢迎架构师加微信qs...

预防cdn链接失效，无缝切换本地文件

w13707470416的博客

12-12

1978

如今的前端项目追求的不仅仅是能用能看的程度，而是愈发追求项目的性能，对用户体验的影响。而现在的开发工具在性能优化方面也替我们做很大一部分的工作，想必大家对CDN的使用都是轻车熟路了，但是大家有没有考虑过，万一我们使用的CDN服务器，地址啥的出现了问题，导致我们引用的CDN文件都拿不到了，那么我们的项目崩溃了，天了噜，崩溃了。因此我们得考虑下，引用CDN的文件拿不到了，应该有相应的处理方案，而不会...

php cdn鉴权加密,CDN a,b,c三种鉴权的PHP代码

weixin_33791488的博客

03-18

213

A鉴权方式的代码//http://DomainName/Filename?auth_key=timestamp-rand-uid-md5hash//sstring = "URI-Timestamp-rand-uid-PrivateKey" (URI是用户的请求对象相对地址, 如 /Filename)//HashValue = md5sum(sstring)function PrivateKeyA(...

php屏蔽蜘蛛,如何屏蔽垃圾蜘蛛抓取页面

weixin_35689681的博客

03-17

1508

在服务器日常维护过程中我们经常会发现日志中有很多网络蜘蛛爬取的记录，这些蜘蛛有些是知名的并对网站收录流量有益的，比如百度蜘蛛(Baiduspider)，也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛(YisouSpider)。yisouspider最变态，每次一抓取就是短时间内大量的抓取页面，会造成服务器压力短时间内迅速上升。还有很多无用蜘蛛如Yand...