robots.txt测试工具

谷歌站长平台新升级 robots.txt测试工具，这对于SEOer来说是一个好消息，对于网站优化又有了新的好工具。该工具在抓取栏目下级菜单，robots.txt测试工具会直观的展现网站的robots.txt，并会高亮显示导致谷歌无法抓取网页的一些错误，如果某个网页不被抓取，也可以用这个工具测试一下，如果robots.txt文件中有阻止抓取这个网页的设置，在这里也会被高亮显示出来，而且可以根据不同的蜘蛛进行测试。




　　也就是说，robots.txt测试工具不仅仅是能查整个主域名的robots.txt文件，也可以针对不同的内页进行测试查询，更精准更快速的查找robots.txt文件中有没有对目标网址的阻止，这是最大的一个亮点。如下图一个例子，该网址被拦截，高亮显示。




　　另一个亮点就是你不需要每次都在这测试网站的robots.txt文件，然后修改再上传服务器再测试，这个robots.txt测试工具可以直接在这个界面对robots.txt文件进行修改测试，等你满意后再上传服务器就可以了，不需要不断上传-测试-修改，节省了很多时间。


　　可能有些网站的robots.txt文件就几行，一目了然，不需要借助什么工具，但当robots.txt文件非常大时，要在其中找到是否禁止抓取你要检查的一个网址那是非常麻烦的。使用这个工具可以快速的找到源头，并且robots.txt测试工具还会提示robots.txt的错误，比如常见的500错误。如果你需要大面积修改这个文件，这里也是一个不错的选择。