本文探讨了SEO中的robots.txt文件，用于指示搜索引擎哪些页面不应被索引，如印刷版页面、安全系统和管理员资源。robots.txt不是安全防护手段，而是指导网络爬虫的行为。在线文档工具也需要考虑此文件，以防止不适当页面出现在搜索结果中。通过robots.txt，可以避免搜索引擎显示错误或敏感页面，但不影响直接URL访问。要了解更多关于如何保持直接访问而不被索引，可以参考相关链接。
前文：《如何做到优化引擎搜索SEO（有HTML，关键字，Ajax，url，内容顺序等）》
英文原文来源：clickhelp博客
英文原文：Online Documentation and SEO. Part 7 - Robots.txt
下文均为翻译+自己的注解和想法
（所有ClickHelp打广告部分用浅灰色注解）
翻译：
通常，每个网站都有搜索引擎不应该索引的目录和页面。比如，印刷版本的网站页面，页面安全系统（注册、身份验证），可能还有目录管理员资源文件夹,各种技术文件夹。此外，网站管理员可能想给索引搜索引擎提供更多的信息。例如，sitemap.xml文件的位置。
所有这些任务都是通过robots.txt文件执行。这仅仅是一个文本文件的一个特定的格式，你把它放在您的网站上（到主目录），网络爬虫知道如何正确地索引网站内容。此文件格式完全规范，可在谷歌开发者门户网站找到。时，谷歌网站管理员工具提供确保你正确的创建文件，这个功能是在爬封锁网址段
最低0.47元/天 解锁文章
489
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
