搜索引擎特征码(转）

2019独角兽企业重金招聘Python工程师标准>>>

百度搜索引擎

baiduspider：百度网页搜索
baiduspider-mobile：无线搜索
baiduspider-image：图片搜索
baiduspider-video：视频搜索
baiduspider-news：新闻搜索
baiduspider-favo：百度搜藏
baiduspider-mobile-gate：百度手机搜索
baidu-thumbnail：百度快照

符合某种情况才会出动的爬虫特征码

baiduspider-cpro：百度联盟站点
baiduspider-sfkr：百度竞价站点
baidu-transcoder：未做说明
baiducustomer：百度开始人工审核

中英文谷歌(Google)搜索引擎

Googlebot：谷歌网页
Googlebot-Mobile：谷歌手机搜索
Googlebot-Image：谷歌网页图片

符合某种情况才会出动的爬虫特征码

Mediapartners-Google：Google Adsense网页
Adsbot-Google：Google Adwords网页
Feedfetcher-Google：Google订阅

搜狐搜狗搜索引擎

Sogou web robot：搜狗网页
Sogou web spider：搜狗网页
Sogou-Test-Spider：搜狗网页
Sogou Orion spider：搜狗网页

中英文雅虎搜索引擎

Yahoo! Slurp：雅虎英文
Yahoo! Slurp China：雅虎中国
YahooFeedSeeker：雅虎订阅
Yahoo Blogs：雅虎博客蜘蛛
Yahoo Image：雅虎图片蜘蛛
Yahoo AD：雅虎广告蜘蛛
Yahoo ContentMatch Crawler：Yahoo 搜索竞价蜘蛛
Yahoo-MMCrawler：雅虎图片

腾讯搜搜搜索引擎

Sosospider：搜搜网页蜘蛛
Sosoblogspider：搜搜博客蜘蛛
Sosoimagespider：搜搜图片蜘蛛

网易有道搜索引擎

YoudaoBot：有道网页
YodaoBot Image：有道图片
YodaoBot-Reader：有道订阅

微软MSN？

MSNBot：主网页爬虫
MSNBot-Media：图片及其它媒体爬虫
MSNBot-NewsBlogs：新闻及blog爬虫
MSNBot-Products：产品及购物爬虫
MSNBot-Academic：学术搜索爬虫

转载于:https://my.oschina.net/lnmpstudy/blog/136764