[转载]如何辨别真假百度蜘蛛

　　当网站抓取异常时，非常有可能是假蜘蛛在作怪。

   那么如何辨别真假蜘蛛辨别：Baiduspider ip的hostname以 *.baidu.com的格式命名，非 *.baidu.com即为冒充，建议使用DNS反查方式来确定抓取来源的ip是否属于百度。
 
   在windows平台下，可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”

有名称为：220.181.108.105这样的以名称中带有baiduspide,和crawl.baidu.com是属于百度自己服务器的蜘蛛，除此之外，都属于假蜘蛛。
发现假蜘蛛就要及时的在服务器上屏蔽这个IP。

 

转载于:https://www.cnblogs.com/iack/p/3558646.html