最积极的搜索引擎蜘蛛有哪些可以屏蔽掉

最积极的搜索引擎蜘蛛有哪些可以屏蔽掉

大家都知道搜索引擎蜘蛛的数量越多越好，爬的页面也越多越好，不爬就不会在收录存在了。那么，最积极的搜索引擎蜘蛛有哪些呢？垃圾蜘蛛真的是爬遍全网，步极网提醒赶快屏蔽掉！

上图是步极wordpress建站内排名前十的蜘蛛，下面来分析各种蜘蛛对应的搜索引擎是哪个，是不是都可以引流呢？其实实际上那些疯狂的没有带来多少流量。

垃圾蜘蛛最喜欢光顾你的网站，注意屏蔽掉，切忌浪费资源

1、MJ12bot蜘蛛：对于新站，因为太少人关注到蜘蛛的利弊性。 网上对这个蜘蛛的方法都是采取了屏蔽的行为。

MJ12bot蜘蛛是英国的一家老牌的搜索引擎营销网站（zh.majestic.com）Majestic的爬虫，他有专门的中文站，对外链查询等很多SEO数据查询提供数据支撑。

做过外链的都知道，获取外链资源是一项基本能力，这个网站可以查询网站的外链资源数，不过很多公司看到日志里有这个MJ12bot蜘蛛，中文都是选择直接屏蔽掉（MJ12bot是Majestic-12分布式搜索引擎的爬虫）

而这蜘蛛是卖信息的，而非导流的。所以确实没有什么存在的价值了！

2、AhrefsBot蜘蛛：对于我们国内站长来说，这个蜘蛛几乎没有什么意义，并且它的爬去频次非常高，爬取深度也很深。有时候忍不住想，要是百度和这个AhrefsBot蜘蛛一样痴迷自己的网站就好了！

因为AhrefsBot是一家国外提供SEO服务的公司，提供专业的收费外链分析服务，所以他对链接的分析需求非常大，于是就近乎疯狂的每天大量爬取网络上的各种网站。再小的网站都不放过。

既然没有用处不能引流，并且浪费服务器资源，那我们就非常有必要把它屏蔽掉。

3、SemrushBot蜘蛛：是SEMrush的服务器搜索蜘蛛。https://zh.semrush.com

Semrush是一家老牌的提供搜索引擎优化数据的公司，建立于2008年，其原理就是semrush的服务器搜刮互联网上所有有价值的网站，对其进行分析归类，然后各个网站的联系，网站在google排名，关键词等等，是一款很好的网站分析工具。

semrushbot是国外一家提供seo数据分析的网站蜘蛛，在中文站长圈并不多见，并且对于我们来说没有什么意义，建议中文网站直接屏蔽。

屏蔽文件代码如下：

# robots.txt generated at http://tool.chinaz.com/robots/ 
User-agent: MJ12bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: semrushbot
Disallow: /
User-agent: *
Disallow: 
Disallow: /bin/

国内中文网站首选蜘蛛可以留下

1、YisouSpider蜘蛛：神马搜索引擎。

2、BaiduSpider蜘蛛：百度搜索引擎。

3、Googlebot蜘蛛：谷歌搜索引擎。

4、bingbot蜘蛛：必应搜索引擎。

不知道是什么搜索引擎蜘蛛的爬虫…

5、spider蜘蛛

6、DNSResearchBot蜘蛛：好像是DNS服务器的蜘蛛，说实话没找到这个蜘蛛的相关资料，可能跟网站的云加速有关。

以上就是步极网截止今日访问排名前十的蜘蛛统计，已经把前三个最积极的垃圾蜘蛛给屏蔽掉了，可以节省资源可以一做！

同步发文：步极网网站建设栏目