typecho配置Robots.txt

什么是Robots协议(robots.txt)？

Robots协议（也称为爬虫协议、机器人协议等）全称是“网络爬虫排除标准”（Robots Exclusion Protocol），是国际互联网界通行的道德规范，Robots是站点与spider沟通的重要渠道，站点通过robots告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守

robots.txt如何奏效呢？

搜索引擎机器人访问网站时，首先会寻找站点根目录有没有 robots.txt文件，如果有这个文件就根据文件的内容确定收录范围，如果没有就按默认访问以及收录所有页面。

另外，当搜索蜘蛛发现不存在robots.txt文件时，会产生一个404错误日志在服务器上，从而增加服务器的负担，因此为站点添加一个robots.txt文件还是很重要的。

百度也会严格遵守robots的相关协议，要注意区分你不想被抓取或收录的目录的大小写，百度会对robots中所写的文件和你不想被抓取和收录的目录做精确匹配，否则robots协议无法生效。

robots.txt基本语法<