常见搜索引擎及其抓取蜘蛛

1、百度蜘蛛

Baiduspider：以前Baiduspider、baiduspider都是百度蜘蛛，但现在统一成Baiduspider了。

Baiduspider-image：抓取图片的蜘蛛

Baiduspider-mobile：抓取wap

Baiduspider-video：抓取视频

Baiduspider-news：抓取新闻

2、谷歌蜘蛛：

Googlebot

Googlebot-Mobile：抓取wap内容

3、360蜘蛛

360Spider

4、SOSO蜘蛛

Sosospider

5、雅虎蜘蛛：

Yahoo! Slurp China 或者 Yahoo!

注意：“Slurp”前后有空格，写robots时要注意。

6、有道蜘蛛

YoudaoBot，YodaoBot

7、搜狗蜘蛛

Sogou News Spider

Sogou web spider

Sogou inst spider

Sogou spider2

Sogou blog

Sogou News Spider

Sogou Orion spider

8、MSN蜘蛛

msnbot

msnbot-media

9、必应蜘蛛

bingbot

10、一搜蜘蛛

YisouSpider

11、Alexa蜘蛛

ia_archiver

12、宜sou蜘蛛

EasouSpider

13、即刻蜘蛛

JikeSpider

转载于:https://my.oschina.net/u/2935824/blog/907962