屏蔽不需要的蜘蛛节省服务器资源

最近我一直在实时观察日志，发现了很多国外的蜘蛛在抓取我的网站，这些搜索引擎不会带来流量，而且浪费我的服务器的资源，于是决定屏蔽
屏蔽的蜘蛛
AhrefsBot

通过抓取网页建立索引库,并提供反向链接分析和服务

dotbot

在线营销分析软件

MJ12bot

英国搜索引擎

Deusu

个人的项目一个搜索引擎

grapeshot

这家公司好像也是分析网站用的
屏蔽方式
在robots.txt目录下添加下面的代码，添加之后在百度站长平台检测一下robots是否正确

User-agent: AhrefsBot

Disallow: /

User-agent: dotbot

Disallow: /

User-agent: MJ12bot

Disallow: /

User-agent: DeuSu

Disallow: /

User-agent: grapeshot

Disallow: /

QQ交流群：136351212
查看原文：http://www.phpsong.com/2272.html