Netpu的专栏

原创 使用robots.txt对搜索引擎蜘蛛限速

<br />http://www.netpu.net<br />网普科技版权所有，转载请注明作者和出处并保持文章原貌<br />（网普科技优质美国主机、美国Linux虚拟主机服务）<br /><br />原文地址<br />http://bbs.netpu.net/viewthread.php?tid=3597<br /><br /><br />问题提出<br /><br />最近一些客户提出，搜索引擎蜘蛛(Googlebot、Yahoo Slurp、MSNBot等)抓取站点内容过于频繁，导致用