linux防火墙免费版添加UA屏蔽某些垃圾蜘蛛

最新推荐文章于 2024-05-25 01:01:34 发布
最新推荐文章于 2024-05-25 01:01:34 发布
阅读量1.1k 收藏 11
点赞数 12
文章标签： linux 服务器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woaisjm/article/details/134671388
版权

宝塔插件的防火墙UA添加屏蔽某些垃圾蜘蛛

安装宝塔linux防火墙。

软件管理 → linux防火墙免费版→ 全局配置 → User-Agent过滤 填入下面的规则。

随便写描述后点击添加即可。

垃圾蜘蛛规则列表

(www.seokicks.de|YYSpider|Mattermost|Discord|CCBot|RepoLookoutBot|tracking|serpstatbot|Pinterestbot|SurdotlyBot|DataForSeoBot|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|FlightDeckReports|Linguee Bot|Web-Crawler|WellKnownBot|Yellowbrandprotectionbot|ev-crawler|NE Crawler|Facebot|GrapeshotCrawler|SemrushBot|DotBot|MegaIndex.ru|MauiBot|AhrefsBot|MJ12bot|BLEXBot|HubSpot Crawler|CriteoBot|Web-Crawler|web-crawlers|DataForSeoBot|YaK|Mail.RU_Bot|Barkrowler|crawler|SEOkicks-Robot|vxiaotou-spider|telegram|dingtalk|Twitterbot|DuckDuckGo|applebot|webprosbot|AwarioBot|Amazonbot|AmazonAdBot|YouBot/)

此方法简单高效。

PS：开启防火墙后给自己的IP设置白名单，避免采集或者修改的时候出现误报

拦截垃圾蜘蛛、爬虫、采集器。降低服务器消耗。加快速度。避免不必要的消耗，导致搜索引擎收录差等。

woaisjm
关注
  • 12
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
屏蔽常见垃圾蜘蛛和扫描工具的两种办法
小板的博客
09-12 1430
2.保存后返回到宝塔 – 【网站】-【设置】点击左侧 【配置文件】选项卡，在 “#SSL-START SSL相关配置，请勿删除或修改下一行带注释的404规则” 上方空白行插入红色字体的代码：“include kill_bot.conf;” 保存后即可生效，这样这些蜘蛛或工具扫描网站的时候就会提示403禁止访问。下面给大家带来两种屏蔽垃圾蜘蛛的方法。通过网站Robots.txt来屏蔽。
如何屏蔽SemrushBot、AhrefsBot、Adsbot等不需要的蜘蛛
IT羊的博客
04-01 3247
最近一台阿里云1U2G的主机cpu一直跑满，网站打开非常慢。查看了下网站的统计，一天大概也就600IP左右，这种不至于把服务器拖死啊，由于以前基本做的是企业站，没遇到这种问题，一直还以为是不是服务器被安装了挖矿脚本，于是下载网站日志一看，除了正常的百度，360，google等蜘蛛的访问记录，大量的国外一些垃圾蜘蛛的抓起把服务器拖死了，总是找到罪魁祸首了，于是百度找处理方式，总结来说就是两种，一种是通过robots.txt处理，但是这个需要蜘蛛遵守robots协议，据说有的垃圾蜘蛛不遵守robots协议，所以
Nginx禁止指定UA访问的方法
09-30
主要介绍了Nginx禁止指定UA访问的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
SEO：屏蔽流氓蜘蛛抓取
最新发布
一些平时在开发过程中遇到的常见问题，分享给大家
05-25 415
解决屏蔽流氓蜘蛛抓取，如MJ12bot 、DotBot 、BLEXBot 、PetalBot 、DataForSeoBot
如何在宝塔面板中屏蔽垃圾蜘蛛？
mmz8的专栏
06-10 2760
最近查看网站蜘蛛爬取情况，发现很多如SemrushBot、AhrefsBot之类的垃圾蜘蛛占比非常大，而且占用服务器资源。 如何在宝塔面板中屏蔽垃圾蜘蛛？ 网上搜索一番，找到了一个在宝塔面板中一劳永逸的方法。 在文件目录/www/server/nginx/conf文件夹下面，新建一个文件，命名为 agent_deny.conf 添加如下代码 ...
屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带宽
come521的专栏
09-21 2013
Sogou web spider是搜狗搜索的网页爬虫，其UA标识为“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”。从名字上看，神马搜索的发音类似于宜搜，但和专注小说搜索的“宜搜(http://easou.com/)”不是同一家公司。主要是将从网站日志中发现的一些异常抓取的蜘蛛屏蔽掉，我上面列举的是一些常见的对我们网站没啥用处的蜘蛛，将这些蜘蛛屏蔽掉就好了。
服务器IIS6/IIS7、Nginx、Apache屏蔽垃圾爬虫UA禁止垃圾爬虫，屏蔽指定UA
ζυииу·。的专栏
11-14 2117
有的时候打开后台会发现网站后台有各种莫名其妙的蜘蛛UA，而不是搜索引擎来过的，那么可能是被别人给爬取了，可以用下面方法来屏蔽不明的蜘蛛UA，可根据网站实际情况来修改要屏蔽的蜘蛛UA对付这种垃圾的蜘蛛，最好的方法就是按照访问规则，查看对应的UA，按照UA规则，进行禁止访问，那么我们应该怎么做呢？
屏蔽不讲robots规则的国外垃圾蜘蛛
程序员
06-27 1162
我们经常会在网站日志中看到一些莫名其妙的国外蜘蛛，疯狂的爬取您的网站，设置robots.txt文件都没有任何用，果断把这些没有用大垃圾知识屏蔽啦。
宝塔UA黑名单怎么设置
u010739776的博客
08-21 1449
网站打开反应慢的一比，正常情况下一般都是2-5秒就打开了，今天不知道怎么回事等了一分多钟还是打不开，提示无法访问此网站。赶紧进服务器看看一看，握草！就下图的这个UA一直换IP访问了20多万次，造成服务器崩溃。 还好宝塔防火墙有UA黑名单功能，步骤如下 Nginx防火墙→全局配置→UA黑名单→设置里面添加Windows NT 10.0，这个问题就解决了！ ...
uaexpert-bin-linux-x86-64-1.7.1-540.tar.gz
04-22
标题中的"uaexpert-bin-linux-x86-64-1.7.1-540.tar.gz"是一个针对Linux操作系统的软件包，其中包含了uaexpert应用程序的64位版本。这个软件包是通过tar和gzip两种工具进行压缩的，这是一种常见的在Linux下打包和...
OPC UA LinuxClient - uaExpert-v1.5.1.zip
10-10
UaExpert的最新版是“uaexpert-bin-linux-x86_64-v1.5.1-331”，这个版本号表示该软件的版本为1.5.1，331可能是内部构建或修订号，意味着在1.5.1基础上进行了一些修复和改进。这个工具不仅支持Windows操作系统，还...
Nginx防盗链根据UA屏蔽恶意User Agent请求(防蜘蛛)
01-10
相对于 Apache，Nginx 占用的系统资源更少，更适合 VPS 使用。恶意盗链的 User Agent 无处不在，博客更换到 WordPress 没几天，就被 SPAM（垃圾留言）盯上，又被暴力破解后台用户名密码。以前介绍过 Apache 使用 .htaccess 屏蔽恶意 User Agent，今天来介绍 Nginx 屏蔽恶意 User Agent请求的方法。 先上规则&注释 #禁用未初始化变量警告 uninitialized_variable_warn off; #匹配各种 bad user agent，返回403错误 if ($http_user_agent ~* embedd
OPC UA C++写的服务器和客户端 linux下的源码SDK
02-20
OPC UA的服务器和客户端，用C++写的，包含源码，linux下的SDK。（PS：我之前上传过这个资源，由于权限问题，分成两个包，后来很多人反应找不到其中一个包，导致无法解压，现在分成windows 和linux部分分开上传，解压...
IIS6/IIS7以上、Nginx、Apache拦截屏蔽垃圾蜘蛛UA爬行降低负载方法IIS7.5如何限制某UserAgent 禁止访问
wangxingps的博客
11-02 2225
最近网站访问非常慢，cpu占用非常高，服务器负载整体也非常高，打开日志发现有很多不知名的蜘蛛一直在爬行我的站点，根据经验肯定是这里的问题，于是根据我的情况写了规则做了屏蔽，屏蔽后负载降下来了，下面整理下iis及nginx及apache环境下如何屏蔽不知名的蜘蛛ua。 注意（请根据自己的情况调整删除或增加ua信息，我提供的规则中包含了不常用的蜘蛛ua，几乎用不着，若您的网站比较特殊，需要不同的蜘蛛爬取，建议仔细分析规则，将指定ua删除即可） IIS7.5测试ok 指定特征禁止UA访问，返回代码403 <
什么是UA?常见蜘蛛UA？怎么查询UA？
smallfatman的博客
05-08 3409
UA其实是User Agent的简称。所谓的User Agent其实就是浏览器在跟服务器通信的时候，一段百十来个字符的落款信息罢了。浏览器发送的每一个HTTP请求数据的头部都加了这个信息。大概包含以下几类内容，操作系统、移动端与否、浏览器内核名字、浏览器名字、内核版本、浏览器版本。
解决屏蔽流氓蜘蛛抓取，如MJ12bot 、DotBot 、BLEXBot 、PetalBot 、DataForSeoBot
woaisjm的专栏
10-30 2502
解决屏蔽流氓蜘蛛抓取，如MJ12bot 、DotBot 、BLEXBot 、PetalBot 、DataForSeoBot碰到这些流氓蜘蛛直接双屏蔽，不要相信他们会准守robots协议（不要太天真了）1、robots文件屏蔽。2、NG等服务器规则屏蔽。
Nginx常用屏蔽规则 - 防止垃圾蜘蛛
很酷的站长的博客
12-03 588
Nginx是一个高性能的HTTP和反向代理服务，目前很大一部分网站均使用了Nginx作为WEB服务器，Nginx虽然非常强大，但默认情况下并不能阻挡恶意访问。在开始之前，希望您已经熟悉Nginx常用命令（如停止、重启等操作）及排查Nginx错误日志，以免出现问题不知所措。如无特殊注明，以下的命令均添加到server段内，**修改Nginx配置之前务必做好备份，修改完毕后需要重载一次Nginx否则不会生效。**
让Apache拒绝网络流氓蜘蛛qihoobot
guoguo1980的专栏
04-03 2164
Google, Yahoo 的搜寻引擎之所以可以搜寻到很多资料，是因為他们时时刻刻都派著 “robot” 在网路上巡逻，Google 的叫 googlebot, MSN 叫 msnbot, Yahoo! 叫 Yahoo Slurp 等等，任务就是捉新的网页或更新的网页回去资料中心. 為了隐私之类的原因，国际组织订有规则，规范 robot 的行為 — 基本上是 robot 要先参考网站根目录的一个
屏蔽百度蜘蛛或某一爬虫的四种方法
qq_34403283的博客
03-13 2552
今天打开自己的网站发现很卡，但是检查网站的访问量并不高，登陆服务器发现流量很高，于是查看访问日志，发现网站日志中开头的某一ip段大量频繁访问，来自一个叫Bytespider的爬虫，就在网上查找方法想屏蔽它。这是屏蔽所有蜘蛛爬虫抓取该页面的写法，如果只屏蔽某个爬虫，可以把"robots"改为特定的爬虫名称，爬虫名称可以通过上面方法1中提及的办法获得。我们还可以通过分析日志，获得爬虫的IP地址，然后从服务器防火墙屏蔽该IP，不过爬虫通常有很多IP，我们可以屏蔽爬虫的IP段。4、通过IP屏蔽百度或某一爬虫抓取。
selenium添加UA
09-09
您可以使用Selenium来添加用户代理(User Agent, UA)。用户代理是一个字符串，用于标识浏览器和操作系统的信息。根据您提供的引用内容，您可以使用以下方法添加UA: 方法1: 您可以创建一个ChromeOptions对象，然后使用add_experimental_option()方法将用户代理添加到ChromeOptions中。例如，您可以使用以下代码添加UA: ```python UA = 'Mozilla/5.0 (Linux; Android 4.1.1; GT-N7100 Build/JRO03C) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/35.0.1916.138 Mobile Safari/537.36 T7/6.3' options = webdriver.ChromeOptions() options.add_experimental_option('mobileEmulation', {"deviceMetrics": {"width": 320, "height": 640, "pixelRatio": 3.0}, "userAgent": UA}) driver = webdriver.Chrome(options=options) ``` 这将创建一个Chrome浏览器实例，并将UA设置为指定的用户代理。 方法2: 您还可以使用mobile_emulation选项将设备名称和用户代理作为参数传递给ChromeOptions。例如，您可以使用以下代码添加UA: ```python mobile_emulation = { "deviceName": "Nexus 5", "userAgent": "Mozilla/5.0 (Linux; Android 4.1.1; GT-N7100 Build/JRO03C) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/35.0.1916.138 Mobile Safari/537.36 T7/6.3" } chrome_options = webdriver.ChromeOptions() chrome_options.add_experimental_option("mobileEmulation", mobile_emulation) driver = webdriver.Chrome(desired_capabilities = chrome_options.to_capabilities()) ``` 这将创建一个Chrome浏览器实例，并将设备名称设置为Nexus 5，并将UA设置为指定的用户代理。 无论您选择使用哪种方法，都可以通过添加适当的参数来向Selenium添加用户代理。这样，您的浏览器将以指定的用户代理标识自己。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

woaisjm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值