seo -- 如何阻止百度蜘蛛对你的网站的爬行

相信那些做外贸的人都想知道,什么样才能不让百度收录,不让百度的蜘蛛程序爬行你的网站.一来是不想让别人知道自己在卖什么产品,二来,不想让百度蜘蛛影响服务器的速度.

 

 

有两种徐径:

 

一是通过robot.txt文件,在这个文件中加入下面的指令就可以(当然前提是百度遵循robot.txt)

#Baiduspider
User-agent: Baiduspider
Disallow: /

 

二是通过.htaccess来控制要么直接禁止百度的IP。但是这个效果并不明显。可以使用下面的指令：

 

RewriteCond %{HTTP_USER_AGENT} Baidu
RewriteRule ^.*$ http://127.0.0.1 [R,L]

 

或

 

RewriteCond %{HTTP_USER_AGENT} Baiduspider
RewriteRule ^.*$ http://127.0.0.1 [R,L]

 

 

 

http://www.webmasterworld.com/forum93/625.htm

http://www.simplemachines.org/community/index.php?topic=350439.0