apache针对搜索引擎的流量分流配置

近期由于网站推广力度的加大，搜索引擎的蜘蛛访问和抓取过于频繁导致网站服务器的cpu超标。为了不影响搜索引擎对网站的收录，不适合配置robots(配置后也无大的效果)只能在其他其他的方面想办法。

最后参考了apache的相关资料，发现增加mod_pro xy模块能将流量分流出去，具体实现方法如下：

vim /etc/httpd/conf/httpd.conf

LoadModule proxy_module modules/mod_proxy.so

LoadModule proxy_balancer_module modules/mod_proxy_balancer.so

LoadModule proxy_ftp_module modules/mod_proxy_ftp.so

LoadModule proxy_http_module modules/mod_proxy_http.so

LoadModule proxy_ajp_module modules/mod_proxy_ajp.so

LoadModule proxy_connect_module modules/mod_proxy_connect.so

#############mod_proxy##########

ProxyRequests off

<Proxy *>

Order deny,allow

Allow from all

</Proxy>

在虚机头的配置中加入（需开启rewrite模块）

<IfModule mod_rewrite.c>

     RewriteEngine on

     RewriteCond %{HTTP_USER_AGENT} ^(.*)360Spider(.*)$ [OR]   

     RewriteCond %{HTTP_USER_AGENT} ^(.*)Baiduspider(.*)$   

     RewriteRule  (.*)$ http://proxy.jianling.cn/$1 [P]

    </IfModule>

service httpd restart

经测试分流效果较好，且不影响搜索引擎对网站的收录。