nginx禁止某些指定的浏览器标识来爬我们网站

最新推荐文章于 2023-08-24 13:50:48 发布
最新推荐文章于 2023-08-24 13:50:48 发布
阅读量748 收藏 1
点赞数
文章标签： 运维 爬虫
原文链接：https://yq.aliyun.com/articles/436376
版权
一些浏览器的爬虫很恶心  不仅仅收录不了，大量的爬虫还影响网站的速度  所以可以通过指定user_agent来试试
编辑nginx的配置文件 使用location

location / {
if ($http_user_agent ~*‘bingbot/2.0|MJ12bot/v1.4.2|Spider/3.0|YoudaoBot|Tomato|Gecko/20100315’)
{
return 403;
}
}
如果匹配了上面的那些user_agent　就是浏览器标识，我们直接给它403拒绝掉
~*号组合一起匹配是 不区分大小写
weixin_33998125
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Nginx禁止指定UA访问的方法
09-30
主要介绍了Nginx禁止指定UA访问的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法
09-29
在这个例子中，我们使用了`if`语句和正则表达式`~*`来匹配特定的爬虫标识，如Python、curl、Java等。`~*`是不区分大小写的匹配操作符。如果请求的`http_user_agent`包含这些字符串，Nginx将返回503状态码，阻止该...
nginx 端口禁止浏览器访问
enjoy.day
06-21 1982
需求 使用nginx代理服务时，有时候端口需要禁止浏览器访问，只允许特定设备访问。 实现 if ($http_user_agent ~* "Mozilla | chrome") { return 403; } 查看你要禁止的设备标识，填写到条件后面(匹配不区分大小写)即可。 ...
nginx基础：nginx访问限制
weixin_56722308的博客
04-29 1832
10，nginx访问限制 1，目的：网站每秒钟访问量过高，会增加网站负载。还可以防止恶意网站攻击，将每秒钟设置访问量限制。 2，测试：未做限制时访问，下载测试工具：yum -y install httpd-tools 测试：ab -n 100 -c 10 http://ying.com/ 查看每秒钟可访问量。 3，配置：在nginx主配置文件中定义限制策略： vi /etc/nginx/nginx.conf 在http{}内添加 limit_req_zone $binary_remote_add
浏览器请求 Linux被 nginx拦截,解决SELinux阻止Nginx访问服务
weixin_42521276的博客
05-14 1024
在使用 yum 安装 nginx 后可能会出现配置完成后却无法访问的问题，查看 audit.log 会发现类似于以下的错误信息audit.log出现此问题的原因是 SELinux 基于最小权限原则默认拦截了 Nginx 的请求，SELinux 是 Linux 的安全子系统，提供更安全的访问控制，许多运维人员嫌麻烦可能会直接关闭此组件，但是治标不治本，本文演示在启用 SELinux 基础上完成对 N...
nginx（四）--Nginx 访问限制
qq_47800859的博客
02-02 542
ngx_http_limit_req_module （通过IP地址限制请求） ngx_http_limit_conn_module （通过IP地址限制连接（tcp））
高性能服务器---nginx(九)---限制用户访问&网页压缩
nigar_的博客
02-27 221
高性能服务器—nginx(九)—限制用户访问&网页压缩 文章目录高性能服务器---nginx(九)---限制用户访问&网页压缩1.为什么要限制用户访问？2.限制用户访问3.为什么要网页压缩？4.实现网页压缩 1.为什么要限制用户访问？ 我们经常会遇到这种情况，服务器流量异常,负载过大等等。对于大流量恶意的攻击访问，会带来带宽的浪费、服务器压力、影响业务，往往考虑对同一个ip的连接数...
Nginx中禁止使用IP访问网站的配置实例
09-30
主要介绍了Nginx中禁止使用IP访问网站的配置实例,一般在备案时可能需要这种设置,需要的朋友可以参考下
Nginx限制搜索引擎爬虫频率、禁止屏蔽网络爬虫配置示例
09-30
主要介绍了Nginx限制搜索引擎爬虫频率、禁止屏蔽网络爬虫配置示例,限制爬虫频率用于一些无良爬虫,禁止爬虫用于一些不需要收录的网站,需要的朋友可以参考下
nginx || 限制ip、浏览器，根据ip地址地区限制geoIP
最新发布
qq_60271706的博客
08-24 202
第三步：复制GeoIP.dat GeoLiteCountry.dat GeoLiteCity.dat 到/usr/local/scnginx99/conf/目录下。注意：需要重新编译安装nginx，开启 --with-http_geoip_module 功能。第五步：检查语法，重新加载nginx的配置文件。第一步：下载GeoIP库，下载unzip软件。修改配置文件nginx.conf禁止爬虫。第二步：解压 geoip.zip。第四步：编辑nginx.conf。
禁止Nginx服务器IP访问网站
投笔从容的博客
02-12 1005
浏览器输入Nginx服务器IP会访问服务器上的网站，会导致一些域名没有在服务器上面配置，解析到服务器，会自动跳转网站域名 配置IP禁止 需要在/etc/Nginx目录下nginx.conf文件中添加默认端口阻止 需要添加在include上面 会阻止没有在服务器上配置的域名和IP访问服务器网站 server { listen 80 default; serve...
nginx http_user_agent屏蔽指定user_agent的访问
zzhongcy的专栏
10-26 7261
注意user agent的坑 可以查看我的另外一篇文章：https://blog.csdn.net/zzhongcy/article/details/104983732 前言 对于一些网站来说，不希望国外蜘蛛来访问我的网站，特别是个别垃圾蜘蛛，它们访问特别频繁。这些垃圾流量多了之后，严重浪费服务器的带宽和资源。 通过判断user agent，在nginx中禁用这些蜘蛛可以节省一些流量，也可以防止一些恶意的访问。 判断user agent 1、进入nginx的配置目录，例如c...
nginx 配置|禁止访问规则
craftsman2020的博客
08-26 5135
nginx conf配置; 正向代理;反向代理;ip访问限制;特定网页访问限制;
Linux nginx配置文件设置非指定域名不能访问 nginx配置只能指定域名访问
LordForce的博客
12-09 2068
服务器被恶意指向解析时的解决办法 Linux Nginx配置文件中设置只能是指定域名才能访问
nginx防护拦截
热门推荐
啊鹏的博客
06-09 1万+
1、在nginx.conf里的http{}里加上如下代码： limit_conn_zone $binary_remote_addr zone=perip:10m; limit_conn_zone $server_name zone=perserver:10m; 2 /在需要限制并发数和下载带宽的网站配置server{}里加上如下代码： limit_conn............
Nginx 限制IP或浏览器访问、后端健康检查 —— 筑梦之路
筑梦之路
06-02 634
方式一，利用 nginx 自带模块 ngx_http_proxy_module 和 ngx_http_upstream_module 对后端节点做健康检查。方式二 (推荐)，利用 nginx_upstream_check_module 模块对后端节点做健康检查。
nginx 限制访问某些url
m0_50758217的博客
04-25 9440
需要注意的是，Nginx的配置文件中的location和if指令都是按照顺序执行的。因此，在使用多个location和if指令时，需要注意它们的位置和先后顺序。上述指令会要求用户输入用户名和密码才能访问/restricted路径下的内容。还可以在Nginx中使用HTTP Auth Basic进行限制，这样只有经过验证的用户才能访问被限制的URL。上述指令会禁止所有用户访问含有"/restricted"字符串的URL，并返回403状态码。上述指令会禁止所有用户访问/restricted路径下的所有内容。
Nginx访问限制配置
独孤小标的博客
01-17 6255
Nginx访问限制配置nginx访问限制可以基于两个方面，一个是基于ip的访问控制，另一个是基于用户的信任登陆控制下面我们将对这两种方法逐个介绍基于IP的访问控制介绍： 可以通过配置基于ip的访问控制，达到让某些ip能够访问，限制哪些ip不能访问的效果这是允许 访问的配置方法配置语法：allow address | CIDR | unix | all;默认配置：没有配置配置路径：http、serv
简单修改nginx的配置，限制指定IP访问指定页面
zhangyuxun3的博客
04-06 1万+
一个客户的需求，看了很多的教程，实现方式都不一样，现将我自己配置的分享给大家。 1.修改nginx配置文件 （路径/usr/local/openrestry/nginx/conf/nginx.conf) vim /usr/local/openrestry/nginx/conf/nginx.conf) #添加IP至allow（例如我们将10.208.96.192和10.208.96.193加入) location = /index.html { allow 10.208.96.192;
nginx禁止指定ip访问怎么配置
03-24
在nginx的配置文件中，可以使用deny指令禁止指定IP访问。 例如，如果要禁止IP地址为192.168.1.100的用户访问nginx服务器，可以在配置中加入以下代码： location / { deny 192.168.1.100; # 其他配置项 } 这使得...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值