weixin_33860553的博客

转载 robots.txt 指南--介绍 [翻译]

原文：http://javascriptkit.com/howto/robots.shtml 译者：Tony Qu，BluePrint翻译团队     有一种力量其实一直在渗入大量的网站和页面，我们通常看不到它们，而且它们通常也很蛮横，大部分人甚至不知道它的存在，大家不要误会，其实我说得是搜索引 擎爬虫和机器人。每天，上百个这样的爬虫会出来对网站...