Nginx禁止某些User Agent抓取网站

最新推荐文章于 2024-06-22 16:16:17 发布
最新推荐文章于 2024-06-22 16:16:17 发布
阅读量782 收藏
点赞数 1
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43507959/article/details/106881315
版权
本文介绍了如何使用Nginx来禁止某些不受欢迎的User Agent抓取网站，以应对可能对服务器造成压力或恶意爬取的行为。通过在Nginx配置文件中添加规则，可以排除指定的User Agent头和空User-Agent头，有效保护服务器资源。文中还提供了常见垃圾UA列表，并展示了使用curl模拟不同User Agent抓取时的测试效果。
摘要由CSDN通过智能技术生成

大家都知道网络上的爬虫非常多，爬虫有利也有弊，爬虫可以让我们的网站容易被其他人搜到，比如百度蜘蛛(Baiduspider)

问题是有些爬虫不遵循robots规则对服务器造成压力，或者是恶意爬取网页、采集数据。不好的爬虫会耗费大量的服务器资源

影响正常的用户使用。有些服务器是按流量计费，被爬虫耗费很多流量要交这些额外产生的费用，比如：七牛

Nginx反爬虫

在Nginx安装目录下的conf目录创建个spider目录，spider下新建个agent_deny.conf

cd /usr/local/nginx/conf         # 进入nginx配置文件目录
mkdir spider                     # 新建spider目录
cd spider                        # 进入spider目录
vim agent_deny.conf              # vim创建并编辑agent_deny.conf文件

agent_deny.conf配置如下


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  SitVen
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
网站服务器防扫描目录,服务器安全：添加Nginx规则防止服务器被恶意机器人扫描...

				
			

			

				

					weixin_31998661的博客
				

				

					08-04
					
					2453
					
				

			

		

		

			
				
自己购买服务器搭建网站就涉及到一个服务器安全问题，虽然你自己不知道，但是每天服务器都在被一些机器人扫描。本文奶爸给大家分享几个Nginx的规则可以防止服务器被扫描。1、禁止默认通过IP访问服务器每台服务器都有一个IP地址，而一些机器人会直接通过访问ip地址的方法来探测你网站上的内容。我们可以在Nginx的配置信息里面添加下面的代码来实现禁止通过IP地址访问服务器。#别人如果通过ip或者未知域名访问...

			
		

	



                

              
                



	

		

			

				
					
Nginx反爬虫策略，防止UA抓取网站

				
			

			

				

					09-29
				

			

		

		

			
				
实施这些策略可以有效地拦截大部分爬虫，但需要注意的是，某些爬虫可能会伪装User-Agent，或者通过其他手段绕过这些限制。因此，反爬虫策略应结合其他方法，如限制请求频率、使用验证码、动态内容加载等，形成多层...

			
		

	



                


  
              

                


	

		

			

				
					
分析nginx日志并屏蔽采集者ip（nginx屏蔽ip配置实例）

				
			

			

				

					09-30
				

			

		

		

			
				
主要介绍了分析nginx日志并屏蔽采集者ip（nginx屏蔽ip配置实例）,本文先是讲解了分析需要屏蔽日志的方法,然后讲解了Nginx中屏蔽IP的配置方法,需要的朋友可以参考下

			
		

	





	

		

			

				
					
nginx禁止指定user_agent

				
			

			

				

					weixin_33688840的博客
				

				

					05-31
					
					226
					
				

			

		

		

			
				
1、编辑配置文件vim /usr/local/nginx/conf/vhosts/test.conf2、添加以下字段if ($http_user_agent ~* 'curl|baidu|111111') # ~*表示不区分大小写匹配，如果只是~表示区分大小写    {     return 403;     }3、重新加载/usr/loca...

			
		

	



		

			
		



	

		

			

				
					
网站禁止搜索引擎的抓取方法

					
最新发布

				
			

			

				

					于忠会的博客
				

				

					06-22
					
					355
					
				

			

		

		

			
				
robots.txt文件是搜索引擎抓取协议，这个协议是目前大部分搜索引擎都需要遵守的，相当于搜索引擎的抓取引导。大部分搜索引擎都会按照这个文件的要求进行抓取网站内容，所以编写这个内容，就相当于给搜索引擎编写了一套引导大纲。不过要明确一点，robots.txt文件是一份协议，也就是搜索引擎可以遵守，也可以不遵守。网站获得搜索引擎抓取是很多企业期待的，当然，某些特殊的情况是我们不愿意让网站抓取全部或部分内容。如果我们不想要搜索引擎索引网站的某些内容或全部内容，最好的办法就是借助rebots.txt文件。

			
		

	





	

		

			

				
					
Nginx中配置过滤爬虫的User-Agent的简单方法

				
			

			

				

					09-30
				

			

		

		

			
				
主要介绍了Nginx中配置过滤爬虫的User-Agent的简单方法,文中罗列了一些常用搜索引擎的爬虫名称以免造成不必要的过滤,需要的朋友可以参考下

			
		

	





	

		

			

				
					
通过Nginx配置，禁止访问特定后缀的资源

				
			

			

				

					jinggangy的博客
				

				

					03-22
					
					3741
					
				

			

		

		

			
				
在一些安全扫描中，经常会遇到提示系统中存在bak备份文件或者压缩文件的安全漏洞，实际可能文件根本不存在，只是因为系统统一对不存在的资源定向到了一个提示资源不存在的页面，但是http状态码是200，导致安全扫描工具误报，这时候可以向安全测试人员说明情况，或者通过Nginx配置禁止对特定后缀资源的访问，这儿就介绍禁止访问的配置方式。

从网上搜索到的大部分都是如下这种千篇一律的配置


location ~ .*\.(rar|zip|gz|tar|7z|xz|bz2|bak)?$
{
    return 40

			
		

	





	

		

			

				
					
服务器修改nginx配置，有效禁止无用爬虫专用资源

				
			

			

				

					01-17
				

			

		

		

			
				
3. **使用`if`条件判断**：虽然`nginx`官方建议避免在`location`块中使用`if`，但仍然可以用来检查请求头中的某些字段，如`User-Agent`，以识别并拒绝爬虫：   ```  location / {  if ($http_user_agent ~* "BadBot...

			
		

	





	

		

			

				
					
nginx 防盗链防爬虫配置详解

				
			

			

				

					01-08
				

			

		

		

			
				
禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; }  禁止指定UA及UA为空的访问   #forbidden Scrapy if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {  return 403; ...

			
		

	





	

		

			

				
					
nginx修改配置限制恶意爬虫频率

				
			

			

				

					01-10
				

			

		

		

			
				
如何在nginx中限制恶意网络爬虫抓取内容呢？也就是限制下恶意爬虫的抓取频率。下面来一起看看。 今天在微博发现@金荣叶 的处理方法很灵活，可以动态设定一个爬虫的频率，达到减轻服务器负载，并且不至于封杀爬虫。  ...

			
		

	





	

		

			

				
					
利用nginx来屏蔽指定的user_agent的访问

					
热门推荐

				
			

			

				

					代码菜鸟旺仔
				

				

					02-23
					
					3万+
					
				

			

		

		

			
				
对于做国内站的我来说，我不希望国外蜘蛛来访问我的网站，特别是个别垃圾蜘蛛，它们访问特别频繁。这些垃圾流量多了之后，严重浪费服务器的带宽和资源。通过判断user agent，在nginx中禁用这些蜘蛛可以节省一些流量，也可以防止一些恶意的访问。

1、进入nginx的配置目录，例如cd
 /usr/local/nginx/conf

2、添加agent_deny.conf配置文件
 vi

			
		

	





	

		

			

				
					
Nginx防止网络爬虫的相关配置

				
			

			

				

					
				

				

					12-27
					
					789
					
				

			

		

		

			
				
通过Nginx参数:http_user_agent，将一些无用的爬虫禁止掉。
配置方法如下：
1、新建配置文件 deny.conf;
内容如下：
#禁止Scrapy|curl等工具的抓取

if ($http_user_agent ~* (Scrapy|Curl|HttpClient))

{

     return 403;

}

#禁止指定UA及UA为空的访问

if ($http_use...

			
		

	





	

		

			

				
					
php 防止爬虫,服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站

				
			

			

				

					yshir
				

				

					05-05
					
					1201
					
				

			

		

		

			
				
本文主要向大家介绍了PHP语言学习之php 防止设置，通过具体的内容向大家展示，希望对大家学习php语言有所帮助。php 防止爬虫设置例如：服务被疯狂。

			
		

	





	

		

			

				
					
【爬虫】User-Agent反爬虫

				
			

			

				

					xuxin132133的博客
				

				

					03-18
					
					898
					
				

			

		

		

			
				
user-agent 反爬虫

			
		

	





	

		

			

				
					
Nginx反爬虫UA及限制并发

				
			

			

				

					自由人生™
				

				

					09-29
					
					915
					
				

			

		

		

			
				
处理请求头文件age...

			
		

	





	

		

			

				
					
Nginx反爬虫攻略：禁止某些User Agent抓取网站

				
			

			

				

					thunder-1
				

				

					05-31
					
					501
					
				

			

		

		

			
				
# cd /usr/local/nginx/conf
# vi agent_deny.conf
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
     return 403;
}
 
#禁止指定UA及UA为空的访问
if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL...

			
		

	





	

		

			

				
					
Nginx-访问限制

				
			

			

				

					peakchao
				

				

					04-01
					
					532
					
				

			

		

		

			
				
请编辑Nginx目录下的nginx.conf



http部分配置



        limit_conn_status 404;
        #通过“漏桶”算法限制每个 IP 发起的请求频率。
        limit_req_zone $binary_remote_addr zone=sym:10m rate=30r/m;
        #限制每个 IP 发起的连接数。
    ...

			
		

	





	

		

			

				
					
Nginx 常用的安全屏蔽规则_nginx拦截规则

				
			

			

				

					2401_84263282的博客
				

				

					04-28
					
					320
					
				

			

		

		

			
				
Nginx 是一个高性能的 HTTP 和反向代理服务，目前很大一部分网站均使用了 Nginx 作为 WEB 服务器，Nginx 虽然非常强大，但默认情况下并不能阻挡恶意访问，整理了一份常用的 Nginx 的屏蔽规则，希望对各位站长有所帮助。

			
		

	





	

		

			

				
					
nginx 配置控制user-agent

				
			

			

				

					06-21
				

			

		

		

			
				
Nginx 配置中，可以通过修改`http`或`server`块下的`access_log`参数来控制对用户代理（User-Agent）的记录。默认情况下，Nginx的日志系统会记录用户的HTTP请求，包括User-Agent信息。如果你想更精细地控制User-Agent的记录，你可以采取以下步骤：

1. 在`http`或`server`块中找到`access_log`配置：
```nginx
access_log /path/to/your/access.log combined;
```
`combined`是常见的日志格式，如果你只想记录特定的User-Agent，可以使用`log_format`指令定义一个新的日志格式，然后在`access_log`后指定该格式：
```nginx
log_format custom_log "%{User-Agent}t %r %{HTTP_REFERER}i %({some_key}o) \"%{HTTP_USER_AGENT}i\" %>s %b";
access_log /path/to/your/access.log custom_log;
```
在这个例子中，`%{User-Agent}`会记录User-Agent字段，`%{HTTP_USER_AGENT}`也是一样的，你可以根据需求选择其中一个。

2. 如果想过滤某些User-Agent，可以添加一个自定义的if条件：
```nginx
location / {
    if ($http_user_agent = 'Your-UA-String') {
        log_not_found off;  # 只记录匹配的请求，不记录404等错误
    }
}
```
这将只记录User-String"的请求。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
SitVen

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值