近日,国内知名的服务器安全软件安全狗出现故障,错误拦截百度蜘蛛,在百度中搜索“intitle:网站防火墙”,可以找到3万多个搜索结果,大部分百度快照是安全狗的拦截页面,说明百度蜘蛛被安全狗拦截。
目前,安全狗官方已经确认问题所在,第一时间更新了安全狗V3.0版本的爬虫IP白名单列表,初步观察已经解决了问题。
不过,使用百度高级搜索,选择时间为“近一周”,继续搜索“intitle:网站防火墙”,依然可以看到600多个搜索结果,点击百度快照,发现快照中可以看到网页,同样可以看到安全狗的拦截提示,说明搜索引擎蜘蛛没有完全正常工作,部分IP可能依然被安全狗拦截。
作为度蜘蛛呢?
经过大致了解,发现本次事件可能与安全狗的白名单制度有关,安全狗之前用user-agent的方式处理搜索引擎蜘蛛,一直没出过错。
不过,user-agent可能被伪装,可以被利用来绕过安全狗;因此,安全狗对搜索蜘蛛白名单进行了更新,部分蜘蛛的IP没被及时加入白名单中,而蜘蛛的请求量比较大,被安全狗认为是攻击而拦截。
截至目前,百度搜索结果中有大量安全狗拦截提示的快照页面,搜狗、SOSO、360搜索中有少量的拦截提示页面,具体受影响的网站数不清楚,不过受影响的网站很可能被搜索引擎降权。
本文内容来自微信公众账号:服务器
微信ID:xuntiankeji