lcd的博客

原创 编写站点robots文件

Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。 使用方法: Robots.txt 文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的。 例如：如果您的网站地址是 http://www.yourdomain.com/那么，该文件必须能够通过 ht...