- 博客(1)
- 收藏
- 关注
原创 使用robots.txt对搜索引擎蜘蛛限速
<br />http://www.netpu.net<br />网普科技版权所有,转载请注明作者和出处并保持文章原貌<br />(网普科技优质美国主机、美国Linux虚拟主机服务)<br /><br />原文地址<br />http://bbs.netpu.net/viewthread.php?tid=3597<br /><br /><br />问题提出<br /><br />最近一些客户提出,搜索引擎蜘蛛(Googlebot、Yahoo Slurp、MSNBot等)抓取站点内容过于频繁,导致用
2011-03-28 15:20:00 1234
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人