最近,在检测iis日志的时候,发下有爬虫爬我的网站。比较恼怒,怎么能爬呢,秘密啊。 马上在网站的根目录放个robots.txt文件,文件内容如下: User-agent: * Disallow: / 呵呵,这些任何守法的爬虫都不爬了。