宝塔面板下nginx屏蔽垃圾蜘蛛禁止抓取不影响火车头发布

最新推荐文章于 2023-09-21 16:52:56 发布
最新推荐文章于 2023-09-21 16:52:56 发布
阅读量4.3k 收藏 8
点赞数
分类专栏： 杂七杂八 文章标签： nginx 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seoshen/article/details/105055430
版权

最近查看服务器日志，发现一些垃圾蜘蛛，一直爬行很多，比如以下这些垃圾，太烦人了。

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)"
最低0.47元/天 解锁文章
seoshen
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Nginx如何屏蔽蜘蛛
evening__breeze的博客
01-28 619
需要在该目录下添加文件 /www/server/nginx/conf/agent_deny.conf。#SSL-START SSL相关配置，请勿删除或修改下一行带注释的404规则。#禁止指定UA访问。UA为空的可以访问，比如火车头可以正常发布。#禁止非GET|HEAD|POST方式的抓取。网站 ---> 设置 -----> 配置文件。#禁止Scrapy等工具的抓取。1.修改Nginx配置参数。3.重启nginx 生效。Nginx如何屏蔽蜘蛛。文件添加以上内容并保存。2.修改网站配置文件。
nginx下禁止垃圾蜘蛛爬取网站，只保留百度蜘蛛和搜狗360神马等
seoshen的博客
12-18 1213
nginx下禁止垃圾蜘蛛爬行网站，只保留百度蜘蛛和搜狗360神马等。访客浏览器打开则出现404错误页，进行跳转。站群引流比较方便，也能规避一些小白参考自己的站群内容。 以宝塔面板为例 if ($http_user_agent !~* "Baidu|Yisou|Sogou|360") { return 404; } 复制以上代码保存到相应位置即可。 实际测试，以360 sogou等简写字符代替360Spider蜘蛛全称，完全可行。本人亲测百度资源管理后台，百度抓取诊
Nginx常用屏蔽规则 - 防止垃圾蜘蛛
很酷的站长的博客
12-03 576
Nginx是一个高性能的HTTP和反向代理服务，目前很大一部分网站均使用了Nginx作为WEB服务器，Nginx虽然非常强大，但默认情况下并不能阻挡恶意访问。在开始之前，希望您已经熟悉Nginx常用命令（如停止、重启等操作）及排查Nginx错误日志，以免出现问题不知所措。如无特殊注明，以下的命令均添加到server段内，**修改Nginx配置之前务必做好备份，修改完毕后需要重载一次Nginx否则不会生效。**
nginx限制蜘蛛的频繁抓取
loong1986的专栏
06-14 1368
蜘蛛抓取量骤增，导致服务器负载很高。最终用nginx的ngx_http_limit_req_module模块限制了百度蜘蛛的抓取频率。每分钟允许百度蜘蛛抓取200次，多余的抓取请求返回503。nginx的配置：#全局配置limit_req_zone $anti_spider zone=anti_spider:60m rate=200r/m; #某个server中 limit_req zone=an...
宝塔linux不能采集,火车头采集在宝塔开启https后获取不到栏目的解决方法
weixin_39645306的博客
05-16 591
火车头发布WordPress总是获取不到目录列表，在本地测试就可以，发现他用的是宝塔环境Nginx下设置开启了强制https,WordPress在开启https证书强制性就无法获取到分类目录，解决方法有多种。一是全关掉https，全站使用http。二是不使用全站https，这次是使用的是不强制性https，是不强制开启。鉴于安全性本人还是不建议使用以上两种方法，那有无有比这两个更好的方法呢？答案是...
屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带宽
come521的专栏
09-21 1773
Sogou web spider是搜狗搜索的网页爬虫，其UA标识为“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”。从名字上看，神马搜索的发音类似于宜搜，但和专注小说搜索的“宜搜(http://easou.com/)”不是同一家公司。主要是将从网站日志中发现的一些异常抓取的蜘蛛屏蔽掉，我上面列举的是一些常见的对我们网站没啥用处的蜘蛛，将这些蜘蛛屏蔽掉就好了。
Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法
09-29
以下是关于Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法的详细说明： 首先，我们可以通过Nginx的配置文件来识别并阻止特定类型的网络爬虫。这通常涉及到对`http_user_agent`头字段的检查，该字段包含了发送请求的用户...
Nginx限制搜索引擎爬虫频率、禁止屏蔽网络爬虫配置示例
09-30
主要介绍了Nginx限制搜索引擎爬虫频率、禁止屏蔽网络爬虫配置示例,限制爬虫频率用于一些无良爬虫,禁止爬虫用于一些不需要收录的网站,需要的朋友可以参考下
nginx屏蔽指定接口(URL)的操作方式
09-29
主要介绍了nginx屏蔽指定接口(URL)的操作方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Nginx防盗链根据UA屏蔽恶意User Agent请求(防蜘蛛)
01-10
以前介绍过 Apache 使用 .htaccess 屏蔽恶意 User Agent，今天来介绍 Nginx 屏蔽恶意 User Agent请求的方法。 先上规则&注释 #禁用未初始化变量警告 uninitialized_variable_warn off; #匹配各种 bad user agent，...
Net Core Web Api项目与在NginX下发布的方法
10-15
在本文中，我们将深入探讨如何使用.NET Core Web API项目并将其部署到NginX服务器上。首先，我们将了解.NET Core的基础知识，然后逐步创建一个简单的Web API项目，最后讲解如何配置NginX以托管我们的API。 .NET ...
宝塔如何屏蔽恶意CC和ddoss攻击 宝塔如何屏蔽国外IP访问
jeson8899的博客
07-12 732
宝塔如何屏蔽国外IP访问，宝塔如何屏蔽恶意CC和ddoss攻击呢，在我们服务器资源有限的情况下，各大搜索引擎每天不断爬取我们的服务器上的站点，但是有很多国外恶意蜘蛛抓取我们的网页，这对于我们的站点毫无用处也造成了我们服务器资源的浪费，它们会导致我们的服务器CPU、内存等资源造成消耗。如图（6）所示，在经过屏蔽国外IP后，网站运行就稳定很多，资源也都很好的节省下来，访问速度也快了很多，大大提升了用户访问体验，攻击的迹象也被有效克制住了，通过实践证明宝塔屏蔽恶意CC和ddoss攻击是具备一定的效果的。
大量的蜘蛛爬行抓取造成网站访问速度慢（包括恶意的蜘蛛）
newhksn的博客
08-30 1492
标题：大量的蜘蛛爬行抓取造成网站访问速度慢（包括恶意的蜘蛛） 问题现象：网站开启后CPU2-5秒即达到100%使用率，短期内网站可以正常访问，1-2天后网站无法打开，或者打开加载特慢。 原因：大量的蜘蛛爬行抓取造成网站访问速度慢 处理方法： 1、登陆宝塔下载LOG日志 2、使用notepad++打开日志信息分析查看 3、Notepad++打开了以后发现大量的同IP段的访问。为了更直观的处理问题，将访问日志，全选后复制到excel表格内。 4、新建一例使用excel函数=MID(B1,1,10)提取后
如何屏蔽国外IP访问
jeson8899的博客
03-07 2886
在我们服务器资源有限的情况下，各大搜索引擎每天不断爬取我们的服务器上的站点，但是有很多国外恶意蜘蛛抓取我们的网页，这对于我们的站点毫无用处也造成了我们服务器资源的浪费，它们会导致我们的服务器CPU、内存等资源造成消耗。如图（6）所示，在经过屏蔽国外IP后，网站运行就稳定很多，资源也都很好的节省下来，访问速度也快了很多，大大提升了用户访问体验，攻击的迹象也被有效克制住了，通过实践证明宝塔屏蔽恶意CC和ddoss攻击是具备一定的效果的。如图（3）所示，添加规则选项里包含有，屏蔽IP来源，策略，备注等选项设定。
宝塔面板防火墙安装和使用教程详解
yundashi168.com
07-03 5437
宝塔面板防火墙主要有Nginx防火墙，Apache防火墙。你的网站是采用LNMP开发环境安装的，那你就使用Nginx防火墙。如果你网站环境是LAMP搭建的，那就使用Apache防火墙。现在绝大多数网站都是用Nginx(LNMP)搭建的，所以大部分使用Nginx防火墙。宝塔面板网站防火墙是基于nginx/apache模块开发的一套应用层防火墙,能有效阻止大部分渗透攻击，且提供高度自由的规则自定义功能，为站点加一道铜墙铁壁。主要目的是从源头阻止站点被挂马的事情发生。目前宝塔官网和官方论坛一直都在使用宝塔网站防火
Nginx/Apache恶意User-Agent过滤列表 屏蔽蜘蛛爬虫
jeesr的博客
08-20 2025
从网上收集的一些恶意或无用User-Agent关键词，通过User-Agent屏蔽访问，包含漏洞扫描，无用蜘蛛，采集爬虫，cc攻击，sq注入等等。 (Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|D
屏蔽垃圾蜘蛛php代码,伪静态屏蔽垃圾蜘蛛的方法
weixin_29026443的博客
03-23 651
所以这里还是建议屏蔽一些垃圾蜘蛛！目前宝塔的防火墙UA能有效的屏蔽部分蜘蛛，但是有一些蜘蛛对这个是无效的，所以这里用修改伪静态方式有效闭屏蜘蛛，代码如下！SetEnvIfNoCase^User-Agent$.*(SemrushBot|SemrushBot-SA|Bytespider|BLEXBot|CompSpyBot|Exabot|ZoominfoBot|ExtLinksBot|AlphaB...
linux网站设置nginx禁止谷歌蜘蛛抓取
qq_41608099的博客
03-05 1090
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot.
robots.txt屏蔽海外无用蜘蛛，防止大量蜘蛛抓取导致网站崩溃（资源宝博客整理分享）
云博客_资源宝分享
04-29 2646
屏蔽海外无用蜘蛛，防止大量蜘蛛导致网站崩溃 资源宝整理分享：www.httple.net robots协议 也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的蜘蛛，此网站中的哪些内容是不应被搜索引擎的蜘蛛获取的，哪些是可以被蜘蛛获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的蜘蛛访问子目录时的行为，那么可以将自定的设置合并到根目录下的r
宝塔面板安装nginx
最新发布
09-27
安装宝塔面板的nginx非常简单。首先，你需要登录到你的服务器并打开终端。然后，使用以下命令下载并运行宝塔面板的安装脚本： ``` curl -sSO http://download.bt.cn/install/install.sh && bash install.sh ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值