如何做到优化引擎搜索SEO之第七篇：robots.txt

前文：《如何做到优化引擎搜索SEO（有HTML，关键字，Ajax，url，内容顺序等）》

英文原文来源：clickhelp博客

英文原文：Online Documentation and SEO. Part 7 - Robots.txt

下文均为翻译+自己的注解和想法
（所有ClickHelp打广告部分用浅灰色注解）

---

翻译：

　　通常，每个网站都有搜索引擎不应该索引的目录和页面。比如，印刷版本的网站页面，页面安全系统（注册、身份验证），可能还有目录管理员资源文件夹,各种技术文件夹。此外，网站管理员可能想给索引搜索引擎提供更多的信息。例如，sitemap.xml文件的位置。
　　所有这些任务都是通过robots.txt文件执行。这仅仅是一个文本文件的一个特定的格式，你把它放在您的网站上（到主目录），网络爬虫知道如何正确地索引网站内容。此文件格式完全规范，可在谷歌开发者门户网站找到。时，谷歌网站管理员工具提供确保你正确的创建文件，这个功能是在爬封锁网址段