seo:robots

     Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

    Robots协议是国际互联网界通行的道德规范，基于以下原则建立：

1、 搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权；

2、网站有义务保护其使用者的个人信息和 隐私不被侵犯。

参考地址：

http://baike.baidu.com/link?url=t6XBJglRMUs-JkbHqW5Cp_9zw6BTUr-iO5xe5aAGyQgrHkduA-nL2xn73LCYZZEB_IzlS2dxzbkvnfq3uHvQ542ico7jhABNUS1DWyqknrd4KeNfY5wxLw7ULIZvVYNH