nginx通过user-agent判断蜘蛛，跳转到指定后端服务器…

nginx通过User-Agent判断是否为蜘蛛访问，如果为蜘蛛，则跳转到后端指定服务器

蜘蛛访问，是通过HTTP返回状态判断网站是否正常，很多人为了方便，直接return一个 403出去，这样对权重有很大的影响，我们可以通过nginx跳转，判断user-agent如果为蜘蛛，直接跳到后端指定服务器，这样则不会影响到当前web环境。。。

ip:

nginx:192.168.3.142

后端蜘蛛服务器：192.168.2.147

 

修改Nginx配置文件

 

………….

upstream zhizhu {

server 192.168.2.147;

}

 

server{

location /   {

if ($http_user_agent ~* “Baiduspider|360Spider|bingbot|Googlebot|Sogou web spider”) {    #####判断多个蜘蛛，中间用| 隔开
proxy_pass http://zhizhu;
}

}

………………..

}

 

……….

 

 

 

完成之后，/etc/init.d/nginx reload

 

测试访问

 

# curl -I -A “Baiduspider” http://www.aiyuke.com
HTTP/1.1 200 OK
Server: nginx/1.6.3
Date: Fri, 08 Jul 2016 07:11:09 GMT
Content-Type: text/html; charset=utf-8
Connection: keep-alive
Set-Cookie2: aiyuke_cookie=8b801b25.5371a8061fc8b; path=/; max-age=31536000
X-Powered-By: PHP/5.4.10
BackendServer: 2.147