百度蜘蛛频繁抓取后台的不存在的phh/asp/jsp地址的解决方案?
其实这个问题困扰我已经很久了,每天百度蜘蛛都在访问后台的一些不存在hh/asp/jsp等路径从而返回404,等于每天都告知百度,我这个网站很多死链,一定程度上会影响网站的“信任分”,因为搜索引擎不愿意给用户404的体验。
出现这个问题的原因是
你的网站每天都有人在扫描系统文件,尝试搜索漏洞,并且你的网站安装了自动推送,又或者有人在恶意提交。
解决方法很简单,只需要复制以下的robots设置到下面就好了,通过robots设置,禁止蜘蛛抓取php/jsp/asp类型的文件。
Disallow:*?* /*禁止访问网站的动态地址*/
Disallow: /*.php$ /*禁止访问网站的php文件*/
Disallow: /*.asp$ /*禁止访问网站的asp文件*/
Disallow: /*.jsp$ /*禁止访问网站的jsp文件*/
举一反三,如果你想禁止蜘蛛访问网站的其他类型文件也可以通过 Disallow: /*.XXX$ 把XXX替换成文件类型即可。
网站实例:http://m.ivf99.com/robots.txt