常见搜索引擎蜘蛛大全

从网站的IIS日志可以分析蜘蛛爬行和用户访问情况，经常查看LOG记录是个好习惯，这也是每位站长必备的基本功。以下是一份国内常见的搜索引擎蜘蛛列表，打算开站的朋友先混个眼熟，作为站长的你日后会经常跟它打交道。

名称：Baiduspider
身份：百度
脚印：2009-10-13 03:47:39 GET /Default.asp - 220.181.7.46 Baiduspider+(+http://www.baidu.com/search/spider.htm) - www.joseo.cn 200 0 0 297 200 171

名称：Googlebot
身份：谷歌
脚印：2009-10-13 07:25:05 GET /Default.asp 203.208.60.173 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) - www.joseo.cn 200 0 0 17706 296 718

名称：Yahoo!+Slurp
身份：雅虎
脚印：2009-10-13 20:21:53 GET /Default.asp - 67.195.111.42 Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp) - www.joseo.cn 200 0 0 297 189 218

名称：msnbot
身份：微软MSN
脚印：2009-10-13 02:00:44 GET /Default.asp - 65.55.25.143 msnbot/1.1+(+http://search.msn.com/msnbot.htm) - www.joseo.cn 200 0 0 14823 193 703

名称：Sogou+web+spider
身份：搜狗
脚印：2009-10-13 06:00:47 GET /Default.asp 220.181.94.222 Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) - www.joseo.cn 200 0 0 910 361 468

名称：YoudaoBot
身份：网易有道
脚印：2009-10-13 07:14:21 GET /Default.asp - 202.108.7.213 Mozilla/5.0+(compatible;+YoudaoBot/1.0;+http://www.youdao.com/help/webmaster/spider/;+) 200 0 0

名称：Sosospider
身份：腾讯搜搜
脚印：2009-10-13 06:48:01 GET /Default.asp - 124.115.4.191 Sosospider+(+http://help.soso.com/webspider.htm) http://www.joseo.cn/ www.joseo.cn 200 0 0 14796 233 125

转载于:https://www.cnblogs.com/JoinZhang/archive/2010/07/09/1774587.html