Nginx/Apache恶意User-Agent过滤列表 屏蔽蜘蛛爬虫

最新推荐文章于 2024-05-17 03:40:07 发布
最新推荐文章于 2024-05-17 03:40:07 发布
阅读量2k 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jeesr/article/details/119820600
版权

从网上收集的一些恶意或无用User-Agent关键词，通过User-Agent屏蔽访问，包含漏洞扫描，无用蜘蛛，采集爬虫，cc攻击，sq注入等等。

(Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DOC|DotBot|Download Ninja|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub-client|Harvest|hloader|httplib|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|JennyBot|k2spider|Kenjin Spider|Keyword Density0.9|larbin|LexiBot|libWeb|LinkextractorPro|linko|LinkScan8.1a Unix|LinkWalker|LNSpiderguy|lwp-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient.com|ProPowerBot2.14|ProWebWalker|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck.Internetseer.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz1.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader6.9|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr-agent|WWW-Collector-E|Xenu|yandex|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files|BOT/0.1|YisouSpider|Jullo|YandexBot|WinHttp|Linguee Bot|HTTrack|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BabyKrokodil|netsparker|httperf| SF/)

QQ4770851
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Nginx 使用 sever 段规则屏蔽恶意 User Agent
weixin_34336526的博客
12-04 144
相对于 Apache，Nginx 占用的系统资源更少，更适合 VPS 使用。恶意的 User Agent 无处不在，博客更换到 WordPress 没几天，就被 SPAM（垃圾留言）盯上，又被暴力破解后台用户名密码。以前介绍过 Apache 使用 .htaccess 屏蔽恶意 User Agent，今天来介绍 Nginx 屏蔽恶意 User Agent的方法。 先上规则&注释 #禁用...
Nginx 常用的安全屏蔽规则_nginx拦截规则
2401_84263282的博客
04-28 286
Nginx 是一个高性能的 HTTP 和反向代理服务，目前很大一部分网站均使用了 Nginx 作为 WEB 服务器，Nginx 虽然非常强大，但默认情况下并不能阻挡恶意访问，整理了一份常用的 Nginx 的屏蔽规则，希望对各位站长有所帮助。
Nginx 常用的安全屏蔽规则_nginx拦截规则(3)
最新发布
2401_84972910的博客
05-17 250
在开始之前，请先备份你的 Nginx 配置。
Nginx/Apache/PHP 防止恶意User-Agent方法
wyk_xz的博客
07-08 2699
Nginx/Apache/PHP 防止恶意User-Agent
恶意流量分析训练六
Yale的博客
02-05 1461
通过该实验了解恶意流量分析训练的基本技能，本次实验主要涉及包括：ssdp协议、主机指纹、kerberos、C&C服务器、在线分析引擎hybrid analysis，钓鱼网页等。 本次流量分析，需要回答以下问题： 活动发送的时间，日期 哪台主机发生了什么 indicatirs(指标)，包括（ip...
nginx 通过User-Agent匹配规则进行过滤
热门推荐
wanglei_storage的博客
12-01 1万+
说明，http_user_agent 也就客户的访问时使用的代理软件信息，一般都为浏览器，如chrome，firefox那如果你通过程序进行访问，则在nginx logs中获取到的地址则为程序信息，那么，当你要拒绝某些user-agent访问站点的时候，即可根据user-agent进行相关配置，配置如下if ( $http_user_agent ~* “Alibaba.Security.Heimda
文件包含之日志中毒（User-Agent）
qq_50854662的博客
09-28 463
文件包含之日志中毒（User-Agent）
宝塔防火墙GET,POST,UA过滤讲解
开源世界
04-14 2758
一、防御GET,POST,UA 简介 ：http://github.crmeb.net/u/defu 简要说明： 1. GET-参数过滤 --> 对GET类型的参数进行过滤 2.GET-URL过滤 --> 对URI 进行过滤 3. User-Agent过滤 --> 对客户端的UA进行过滤 4.POST过滤 -->对POST传递的参数进行过滤 5. Cookie过滤 --> 对客户端传递的Cookie进行过滤 6.常见扫描器
Nginx中配置过滤爬虫的User-Agent的简单方法
09-30
在Nginx中配置过滤爬虫的User-Agent是一项重要的任务，尤其对于运行个人博客或网站的用户来说，防止恶意爬虫频繁访问可能导致服务器资源过度消耗，甚至影响正常用户的访问体验。本文将详细介绍如何通过Nginx配置文件...
nginx/1.21.6 &nginx-http-flv-module-1.2.10
04-14
2. **RTMP Support in Nginx**：通过安装和配置nginx-rtmp-module，Nginx可以作为RTMP服务器接收和分发流媒体内容。RTMP协议适合实时内容，如直播事件，因为它的延迟低。Nginx可以接受来自摄像机、编码器或其他RTMP...
quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.20.0镜像包
03-06
kubernetes的quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.20.0镜像包，版本为v0.20.0。文件先解压，之后得到nginx-ingress-controller.0.20.0.tar
Nginx防盗链根据UA屏蔽恶意User Agent请求(防蜘蛛)
01-10
以前介绍过 Apache 使用 .htaccess 屏蔽恶意 User Agent，今天来介绍 Nginx 屏蔽恶意 User Agent请求的方法。 先上规则&注释 #禁用未初始化变量警告 uninitialized_variable_warn off; #匹配各种 bad user agent，...
php 防止爬虫,服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站
yshir
05-05 1114
本文主要向大家介绍了PHP语言学习之php 防止设置，通过具体的内容向大家展示，希望对大家学习php语言有所帮助。php 防止爬虫设置例如：服务被疯狂。
屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带宽
come521的专栏
09-21 2012
Sogou web spider是搜狗搜索的网页爬虫，其UA标识为“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”。从名字上看，神马搜索的发音类似于宜搜，但和专注小说搜索的“宜搜(http://easou.com/)”不是同一家公司。主要是将从网站日志中发现的一些异常抓取的蜘蛛屏蔽掉，我上面列举的是一些常见的对我们网站没啥用处的蜘蛛，将这些蜘蛛屏蔽掉就好了。
url过滤怎么解除_详解Nginx服务器屏蔽网络爬虫的方法---User-Agent过滤请求
weixin_39999209的博客
12-05 1053
概述每个网站通常都会遇到很多非搜索引擎的爬虫，这些爬虫大部分都是用于内容采集或是初学者所写，它们和搜索引擎的爬虫不一样，没有频率控制，往往会消耗大量服务器资源，导致带宽白白浪费了。下面介绍下怎么通过nginx来屏蔽网络爬虫的方法。附一张没啥用的图：浏览器输入URL后HTTP请求的完整过程思路Nginx可以根据User-Agent过滤请求，只需要在需要URL入口位置通过一个简单的正则表达式就可以过滤...
apache httpclient php,宝塔面板Nginx防火墙拦截Apache-HttpClient访问是怎么回事？Apache-HttpClient是什么？...
weixin_33734005的博客
03-29 966
今天 服务器出了点问题，重装了宝塔面板和LNMP(Nginx/MySQL/PHP)环境，这才不到 10 分钟，日志里面就出现了下面这种提示。。日志大概有几千条，目前，谁能明确的说一下这到底是什么东西？为什么会一直在请求一个页面？125.123.121.82 [2019-09-11 19:36:06] "UA aisoa.cn/post-2186.html" "-" "Apache-HttpCli...
7. user-Agent破解反爬机制
weixin_63986098的博客
06-10 3069
User-Agent检测：有些网站会检测请求头中的User-Agent字段，如果发现是Python的默认User-Agent，就会拒绝访问。User-Agent：每个浏览器或爬虫程序都有一个User-Agent标识，服务器可以通过检查User-Agent来判断访问者是人还是爬虫程序。服务器可以通过多种方式来识别是人手动访问网站还是爬虫程序访问网站，但是一些高级的爬虫程序可以模拟人类用户的行为，使得服务器难以区分。【添加 "User-Agent"访问网页服务器识别的 "User-Agent"是下面这样的】
使用CDN的User-Agent反爬虫（附User-Agent恶意爬虫名单）
Cordinovet的博客
04-16 1386
我的主博客是可定博客(https://wnag.com.cn/) 原文链接：使用CDN的User-Agent反爬虫（附名单） 这几天发现CDN上的钱去的有点快，后台一查，有爬虫在后台爬了几千次，还是自己不认识的。因此如果你有用CDN的话，可以用CDN的User-Agent反爬虫。 这里以又拍云为例，CDN后台 - 访问控制 - User-Agent防盗链 附下一些恶意爬虫的名单： *Feed...
宝塔如何屏蔽恶意CC和ddoss攻击 宝塔如何屏蔽国外IP访问
jeson8899的博客
07-12 788
宝塔如何屏蔽国外IP访问，宝塔如何屏蔽恶意CC和ddoss攻击呢，在我们服务器资源有限的情况下，各大搜索引擎每天不断爬取我们的服务器上的站点，但是有很多国外恶意蜘蛛抓取我们的网页，这对于我们的站点毫无用处也造成了我们服务器资源的浪费，它们会导致我们的服务器CPU、内存等资源造成消耗。如图（6）所示，在经过屏蔽国外IP后，网站运行就稳定很多，资源也都很好的节省下来，访问速度也快了很多，大大提升了用户访问体验，攻击的迹象也被有效克制住了，通过实践证明宝塔屏蔽恶意CC和ddoss攻击是具备一定的效果的。
配置nginx 路径时，出现这个错误该怎么解决？[root@yfs01 nginx]# --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module -bash: --error-log-path=/var/log/nginx/error.log: 没有那个文件或目录 [root@yfs01 nginx]# --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy -bash: --http-client-body-temp-path=/var/temp/nginx/client: 没有那个文件或目录 [root@yfs01 nginx]# --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --http-scgi-temp-path=/var/temp/nginx/scgi --conf-path=/usr/local/nginx/nginx.conf
06-05
这个错误是因为您在命令行中输入了配置选项，但是缺少了nginx的可执行文件路径，您需要在命令行中添加nginx的可执行文件路径，例如： ``` /usr/local/nginx/sbin/nginx --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --http-scgi-temp-path=/var/temp/nginx/scgi --conf-path=/usr/local/nginx/nginx.conf ``` 请注意，上述命令中的`/usr/local/nginx/sbin/nginx`是您的nginx可执行文件路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值