1. Google爬虫名称: Googlebot
2. 百度(Baidu)爬虫名称:Baiduspider
3. 雅虎(Yahoo)爬虫名称:Yahoo Slurp
4. 有道(Yodao)蜘蛛名称:YodaoBot
5. 搜狗(sogou)蜘蛛名称:sogou spider
6. MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个):Msnbot
1. Google爬虫名称: Googlebot
2. 百度(Baidu)爬虫名称:Baiduspider
3. 雅虎(Yahoo)爬虫名称:Yahoo Slurp
4. 有道(Yodao)蜘蛛名称:YodaoBot
5. 搜狗(sogou)蜘蛛名称:sogou spider
6. MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个):Msnbot