nginx——Nginx 防爬虫优化

最新推荐文章于 2024-05-30 19:34:38 发布
最新推荐文章于 2024-05-30 19:34:38 发布
阅读量1.4k 收藏 3
点赞数
分类专栏： linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pencilseo/article/details/82318613
版权
运维 同时被 2 个专栏收录
46 篇文章 0 订阅
订阅专栏
linux
35 篇文章 0 订阅
订阅专栏

if ($http_user_agent ~* “qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot”) {

return 403;

} 禁止百度 谷歌等等来爬取我们的网站

作者简介：
陈志珂（头条号：强扭的瓜不好吃）,公众号“铅笔学园”运维内容合作作者之一。目前就职于中国最大的安卓应用软件公司，任高级工程师，现在公司任php开发工程师，python开发工程师，高级运维工程师。
铅笔学园：IT资源分享|知识分享，做初级程序员的指明灯
这里写图片描述

铅笔学园
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【linux】Nginx企业级优化:防爬虫优化、错误页面优化、日志轮询、不记录元素日志、日志权限
走向CTO的路上...
04-27 858
总结：Nginx企业级优化涉及多个方面，包括防爬虫优化、错误页面优化、日志轮询、不记录元素日志和日志权限。鱼弦：公众号：红尘灯塔，CSDN内容合伙人、CSDN新星导师、51CTO(Top红人+专家博主) 、github开源爱好者（go-zero源码二次开发、游戏后端架构 https://github.com/Peakchen）Nginx企业级优化包括防爬虫优化、错误页面优化、日志轮询、不记录元素日志和日志权限。下面是对这些优化的详细解释、底层流程图、Python代码示例和一些相关文献材料链接。
nginx 防盗链防爬虫配置详解
01-08
新建配置配置文件 （例如进入到nginx安装目录下的conf目录，创建： agent_deny.conf） 禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } 禁止指定UA及UA为空的访问 #...
nginx相关反爬策略总结笔记
submarineas的博客
02-11 3082
主要是根据检测结果展开的，如利用HTTP请求头User-Agent来判断、拦截爬虫请求，或对访问频率过高的IP地址进行封禁。被动防御存在部分缺陷:被动防御检测流程和机制单一，无法应对复杂多变的恶意爬虫，检测误判率高，容易造成误封、漏封。是主流的爬虫防御发展方向，通过对网页底层代码的持续动态变换，增加服务器行为的“不可预测性”，大幅提升攻击难度，从而实现了从客户端到服务器端的全方位“主动防护”。本文中所提到的关于nginx的一些操作，都属于被动防御机制。
网站nginx 反爬虫基础配置
退役熬夜选手的博客
07-25 936
2. 配置频率限制：使用 Nginx 的 `limit_req_zone` 指令，创建一个限制区域，指定每个 IP 的访问频率限制，可以结合 `limit_req` 指令设置访问限制策略。1. 配置用户代理（User-Agent）限制：使用 Nginx 的 `map` 指令创建一个映射表，将常见的爬虫用户代理字符串与 `1` 关联起来，并将其他用户代理字符串与 `0` 关联起来。因此，综合使用其他技术手段，如验证码、限制并发连接数等，可以提高反爬虫的效果。
Nginx 反爬虫策略，防止 UA 抓取网站
lizhengyu891231的博客
03-27 1953
新增反爬虫策略文件： anti_spider.conf（目录和路径根据自己实际项目为准） /usr/www/server/nginx/conf/anti_spider.conf 内容： #禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA为空的访问 if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-su
使用 Nginx 过滤网络爬虫
gt9000的博客
01-20 1755
现在有许多初学者学习网络爬虫，但他们不懂得控制速度，导致服务器资源浪费。通过 Nginx 的简单配置，能过滤一小部分这类爬虫。 方法一：通过 User-Agent 过滤 Nginx 参考配置如下： location / { if ($http_user_agent ~* "scrapy|python|curl|java|wget|httpclient|okhttp"...
Nginx——安装详解
01-20
Nginx的安装需要四个依赖：gcc、pcre、zlib、openssl yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel  依赖安装好之后，我们进行安装nginx，可以通过windows下载上传，也可以通过wget ...
nginx修改配置限制恶意爬虫频率
01-10
如何在nginx中限制恶意网络爬虫抓取内容呢？也就是限制下恶意爬虫的抓取频率。下面来一起看看。 今天在微博发现@金荣叶 的处理方法很灵活，可以动态设定一个爬虫的频率，达到减轻服务器负载，并且不至于封杀爬虫。 ...
优化nginx大并发——轻松应对上万并发访问
12-13
本文将详细探讨如何通过系统层面和Nginx配置层面的优化，使Nginx能够轻松应对上万甚至十万级别的并发访问。 首先，从系统层面进行优化： 1. **调整同时打开文件数量**：使用`ulimit -n`命令设置系统最大文件描述符...
Nginx代理反爬设置
Nanford的博客
06-14 794
Nginx代理服务反爬设置
分析nginx日志并屏蔽采集者ip（nginx屏蔽ip配置实例）
01-10
采集和防止采集是一个经久不息的话题，一方面都想搞别人的东西，另一方面不想自己的东西被别人搞走。 本文介绍如何利用nginx屏蔽ip来实现防止采集，当然也可以通过iptable来实现。 1.查找要屏蔽的ip 代码如下: awk ‘{print $1}’ nginx.access.log |sort |uniq -c|sort -n nginx.access.log 为日志文件， 会到如下结果，前面是ip的访问次数，后面是ip，很明显我们需要把访问次数多的ip并且不是蜘蛛的ip屏蔽掉，本例当中我们屏蔽掉165.91.122.67 代码如下:  …   13610 202.112.113.192
Nginx+iptables屏蔽访问Web页面过于频繁的IP(防DDOS，恶意访问，采集器)
09-30
通过分析nginx的日志来过滤出访问过于频繁的IP地址，然后添加到nginx的blockip.conf，并重启nginx.
Nginx设置防爬虫策略
kun blog
04-24 7387
有助于网站的爬虫可以提升网站排名，比如百度蜘蛛。但有些爬虫对服务器恶意获取网站信息，不遵守robots规则，我们需要进行拦截。可以禁止某些User Agent抓取网站。 新建配置配置文件 （例如进入到nginx安装目录下的conf目录，创建： agent_deny.conf） #禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|Ht...
nginx+lua+redis实现验证码防采集
yanggd1987的专栏
07-16 7231
基于nignx+lua+redis实现的验证码防采集
nginx+lua防采集
yanggd1987的专栏
05-16 1809
简介 之前介绍了nginx+lua+redis实现验证码防采集，在此基础上我又增加了搜索引擎的域名反查，以排查伪造搜索引擎的爬虫。原理是查看根据useragent为搜索引擎的客户端，如：百度、搜狗、谷歌等；通过nslookup或其他工具反查其ip所对应的域名是否包含baidu、sogou等关键字，若包含则直接加入白名单；否则认为是伪造搜索引擎的。当然更严谨的是判断其一级域名的关键字是否为baid...
ngnix防采集过滤规则
A PClover's dream
07-12 511
1.根据访问地址过滤。 检测到访问地址有test=这些关键词，自动跳转到公安备案网。 if ($request_uri ~* test=) { return 301 http://www.beian.gov.cn; } 2.根据访问地址过滤。 检测到来源地址有Baiduspider，自动跳转到公安备案网。 if ($http_referer ~* Baiduspider) { return 301 http://www.beian.gov.cn; } 3.根据ua过滤 检测
Nginx防爬虫
05-30 887
验证User-Agent：通过配置Nginx的规则，检查请求头中的User-Agent字段，拒绝非浏览器类型的User-Agent访问，以阻止爬虫。请注意，在配置Nginx时，要根据自己的网站情况进行适当的调整，避免误判正常用户。限制访问频率：通过配置Nginx的访问频率限制模块，可以限制单个IP地址在一段时间内的请求数量，从而防止爬虫在短时间内发起大量请求。封禁特定IP地址或IP段：将可疑的爬虫IP地址添加到Nginx的配置文件中，通过配置禁止这些IP地址访问网站。
nginx配置防爬虫
weixin_44313748的博客
08-27 1513
nginx里的conf中新增配置文件 创建： agent_deny.conf #禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA为空的访问 if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/| FeedDemon|Jullo|JikeSpider|Indy Library|A
nginx——moudle
最新发布
06-25
Nginx是一款流行的开源高性能Web服务器和反向代理服务器，它以其稳定性、高效性和模块化设计而闻名。Nginx模块（或称为Nginx插件）是其核心功能之外可扩展的部分，用于添加额外的功能或定制特定需求。Nginx模块系统允许开发者编写自定义代码，这些代码可以在运行时动态加载并集成到主服务器中，以实现以下功能： 1. **负载均衡**：如upstream模块，用于将请求分发到多个后端服务器，提高服务的可用性和性能。 2. **SSL/TLS支持**：如ssl模块，处理HTTPS连接，提供加密传输。 3. **文件系统操作**：如fastcgi、uwsgi或scgi模块，支持各种应用程序接口（如PHP、Python等）的动态内容处理。 4. **缓存加速**：如memcached或varnish模块，减少对后端服务器的压力，提高响应速度。 5. **访问控制**：如auth_basic模块，实现基本的HTTP认证。 6. **日志管理**：如log_format模块，定制化的日志输出格式。 每个模块都有其特定的功能和配置选项，开发者可以根据项目需求选择并配置合适的模块。要使用Nginx模块，通常要在server块或location块中启用它，并配置相关的参数。如果你对某个模块感兴趣，可以询问具体某个模块的作用，或者有关如何安装和配置模块的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值