谷歌站长平台新升级
robots.txt测试工具,这对于SEOer来说是一个好消息,对于网站优化又有了新的好工具。该工具在抓取栏目下级菜单,robots.txt测试工具会直观的展现网站的robots.txt,并会高亮显示导致谷歌无法抓取网页的一些错误,如果某个网页不被抓取,也可以用这个工具测试一下,如果robots.txt文件中有阻止抓取这个网页的设置,在这里也会被高亮显示出来,而且可以根据不同的蜘蛛进行测试。
也就是说,robots.txt测试工具不仅仅是能查整个主域名的robots.txt文件,也可以针对不同的内页进行测试查询,更精准更快速的查找robots.txt文件中有没有对目标网址的阻止,这是最大的一个亮点。如下图一个例子,该网址被拦截,高亮显示。
另一个亮点就是你不需要每次都在这测试网站的robots.txt文件,然后修改再上传服务器再测试,这个robots.txt测试工具可以直接在这个界面对robots.txt文件进行修改测试,等你满意后再上传服务器就可以了,不需要不断上传-测试-修改,节省了很多时间。
可能有些网站的robots.txt文件就几行,一目了然,不需要借助什么工具,但当robots.txt文件非常大时,要在其中找到是否禁止抓取你要检查的一个网址那是非常麻烦的。使用这个工具可以快速的找到源头,并且robots.txt测试工具还会提示robots.txt的错误,比如常见的500错误。如果你需要大面积修改这个文件,这里也是一个不错的选择。

也就是说,robots.txt测试工具不仅仅是能查整个主域名的robots.txt文件,也可以针对不同的内页进行测试查询,更精准更快速的查找robots.txt文件中有没有对目标网址的阻止,这是最大的一个亮点。如下图一个例子,该网址被拦截,高亮显示。

另一个亮点就是你不需要每次都在这测试网站的robots.txt文件,然后修改再上传服务器再测试,这个robots.txt测试工具可以直接在这个界面对robots.txt文件进行修改测试,等你满意后再上传服务器就可以了,不需要不断上传-测试-修改,节省了很多时间。
可能有些网站的robots.txt文件就几行,一目了然,不需要借助什么工具,但当robots.txt文件非常大时,要在其中找到是否禁止抓取你要检查的一个网址那是非常麻烦的。使用这个工具可以快速的找到源头,并且robots.txt测试工具还会提示robots.txt的错误,比如常见的500错误。如果你需要大面积修改这个文件,这里也是一个不错的选择。