介绍一个Robots.txt文件在线验证工具

iteye_17896

于 2010-03-16 11:21:59 发布

阅读量666

点赞数

分类专栏： SEO&SEM 文章标签： Google 搜索引擎

SEO&SEM 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了一种由意大利网站优化和搜索引擎公司Motoricerca提供的robots.txt分析工具，并对比了Google网站管理员工具的功能。Motoricerca的工具不支持汉字注释，而Google则支持。文中详细解释了如何使用这两种工具来检查robots.txt文件的有效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

http://tool.motoricerca.info/robots-checker.phtml

此robots.txt分析是由意大利非营利性的意大利的网站优化和搜索引擎公司 Motoricerca 的，

不过要注意，使用这个工具，要把robots.txt里的汉字注释清除，它不能识别汉字；如果有汉字就不认为是一个有效的robots.txt文件。

如果Robots文件验证通过的话，一般会显示以下结果：

 Analyzing file http://www.XXX.com/robots.txt
No errors found in this robots.txt file
Hide empty and comments lines:  

The following block of code DISALLOWS the crawling of the following files and directories: /inc/ to all spiders/robots.  
Line 1 # robots.txt for www.XXX.com
Line 2 User-agent: * 
Line 3 Disallow: /inc/

另外，Google网站管理员工具也可以在线验证robots文件，Google是支持中文注释的。
登录到 Google 网站管理员工具后，在"控制台"中，点击所需网站的网址，点击工具，然后点击分析 robots.txt就行。