一周前,笔者分享过一篇文章《seo诊断:透过Log日志找到网站死结》,并在最后附上了两条改善建议。由于客观条件所限,最后采用robots 屏蔽的方法。先一起来看看一周后的蜘蛛变化,三大主流蜘蛛总抓取量锐减,证明robots文件开始生效。从图上的访问次数、总停留时间和总抓取量看,有所进步但路还很远。![]() 一般来说,搜索引擎对待Robots.txt文件有个生效期,大概2-7天。但是ezooms.bot的迅猛发展,让我不得不怀疑他是个Robots协议违反者。 今天要分享的就是如何通过.htaccess文件屏蔽不良蜘蛛。 以下是14号的网站日志,导入到Excel进行筛选分析,发现在当天所有访问日志(包括真实用户和蜘蛛)中,竟然有多达342次访问记录。而尤以AhrefsBot & ezooms.bot居多。 (注:此例输入“Bot”进行筛选;国外蜘蛛一般叫Bot,国内一般叫Spider) ![]() 翻阅了七八篇国外有关ezooms.bot的博客文章,对该bot也没有一个明确的说法,有的认为是SEOMoz Bot,有的认为是个文章采集者,但是大家对它的评价都很不好,被描绘成诸如吸血鬼、水蛭等。截取一段外文评语: ![]() ![]() RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^Ezooms RewriteCond %{HTTP_USER_AGENT} ^Ezooms/1.0 RewriteRule ^(.*)$ http://getlostbadbot/ 为什么这么写,网上翻翻更多关于Apache中 RewriteCond 规则参数介绍,我也是菜鸟正在学习中。 转自:http://www.seowhy.com/bbs/forum.php?mod=viewthread&tid=2945114 |
通过.htaccess文件屏蔽不良蜘蛛
最新推荐文章于 2023-03-13 10:30:21 发布