前文:《如何做到优化引擎搜索SEO(有HTML,关键字,Ajax,url,内容顺序等)》
英文原文来源:clickhelp博客
英文原文:Online Documentation and SEO. Part 7 - Robots.txt
下文均为翻译+自己的注解和想法
(所有ClickHelp打广告部分用浅灰色注解)
翻译:
通常,每个网站都有搜索引擎不应该索引的目录和页面。比如,印刷版本的网站页面,页面安全系统(注册、身份验证),可能还有目录管理员资源文件夹,各种技术文件夹。此外,网站管理员可能想给索引搜索引擎提供更多的信息。例如,sitemap.xml文件的位置。
所有这些任务都是通过robots.txt文件执行。这仅仅是一个文本文件的一个特定的格式,你把它放在您的网站上(到主目录),网络爬虫知道如何正确地索引网站内容。此文件格式完全规范,可在谷歌开发者门户网站找到。时,谷歌网站管理员工具提供确保你正确的创建文件,这个功能是在爬封锁网址段