网站日志百度蜘蛛频繁抓取后台的不存在的phh/asp/jsp地址的解决方案

　　百度蜘蛛频繁抓取后台的不存在的phh/asp/jsp地址的解决方案?

　　其实这个问题困扰我已经很久了，每天百度蜘蛛都在访问后台的一些不存在hh/asp/jsp等路径从而返回404，等于每天都告知百度，我这个网站很多死链，一定程度上会影响网站的“信任分”，因为搜索引擎不愿意给用户404的体验。

　　出现这个问题的原因是

　　你的网站每天都有人在扫描系统文件，尝试搜索漏洞，并且你的网站安装了自动推送，又或者有人在恶意提交。

　　解决方法很简单，只需要复制以下的robots设置到下面就好了，通过robots设置，禁止蜘蛛抓取php/jsp/asp类型的文件。

　　Disallow:*?*                 /*禁止访问网站的动态地址*/

　　Disallow: /*.php$        /*禁止访问网站的php文件*/

　　Disallow: /*.asp$        /*禁止访问网站的asp文件*/

　　Disallow: /*.jsp$        /*禁止访问网站的jsp文件*/

　　举一反三，如果你想禁止蜘蛛访问网站的其他类型文件也可以通过 Disallow: /*.XXX$ 把XXX替换成文件类型即可。

　　网站实例：http://m.ivf99.com/robots.txt