关闭

Googlebots(Google爬虫)一览

1265人阅读 评论(0) 收藏 举报
Google一共有多少种Googlebot呢?因为Google需要派出不同的类型的Googlebot来分析及抓取不同的网页内容。SERT的Phoenix整理出了一个列表,如下:

  1.Googlebot(即普通抓取网页的Google爬虫,例如"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

  2.MediaBot(用来分析投放了AdSense广告的网页。User Agent:"Mediapartners-Google")

  3.ImageBot(用来分析图片,然后将结果提交到Google图片搜索。User Agent:"GoogleBot-Image")

  4.AdsBot(用来检查AdWords的广告着陆页的质量。User Agent:"AdsBot-Google")

  5.Feedfetcher-Google(用来抓取各种RSS Feed)

  6.Generic Mobile Phone(移动版的Googlebot) (compatible;GooglebotMobile/2.1;+http://www.google.com/bot.html)

  上面的列表不一定完整,因为应该还有一些没有被发现的,感兴趣的朋友请留意WMW上面的相关讨论

  其实这些bots才是真正的辛勤劳动者,日夜不停地来回奔跑,值得尊敬。当然,前提是它们对你家网站感兴趣。
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1590281次
    • 积分:21507
    • 等级:
    • 排名:第352名
    • 原创:434篇
    • 转载:209篇
    • 译文:1篇
    • 评论:992条
    文章分类
    最新评论
    数据库