Googlebots(Google爬虫)一览

原创 2006年06月06日 22:19:00
Google一共有多少种Googlebot呢?因为Google需要派出不同的类型的Googlebot来分析及抓取不同的网页内容。SERT的Phoenix整理出了一个列表,如下:

  1.Googlebot(即普通抓取网页的Google爬虫,例如"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

  2.MediaBot(用来分析投放了AdSense广告的网页。User Agent:"Mediapartners-Google")

  3.ImageBot(用来分析图片,然后将结果提交到Google图片搜索。User Agent:"GoogleBot-Image")

  4.AdsBot(用来检查AdWords的广告着陆页的质量。User Agent:"AdsBot-Google")

  5.Feedfetcher-Google(用来抓取各种RSS Feed)

  6.Generic Mobile Phone(移动版的Googlebot) (compatible;GooglebotMobile/2.1;+http://www.google.com/bot.html)

  上面的列表不一定完整,因为应该还有一些没有被发现的,感兴趣的朋友请留意WMW上面的相关讨论

  其实这些bots才是真正的辛勤劳动者,日夜不停地来回奔跑,值得尊敬。当然,前提是它们对你家网站感兴趣。

相关文章推荐

开源网络爬虫程序(spider)一览

spider是搜索引擎的必须模块.spider数据的结果直接影响到搜索引擎的评价指标. 第一个spider程序由MIT的Matthew K Gray操刀该程序的目的是为了统计互联网中主机的数目 >...
  • zbyufei
  • zbyufei
  • 2012年05月10日 15:51
  • 2618

Google、亚马逊、微软 、阿里巴巴开源软件一览

Google,亚马逊,微软,和阿里巴巴都是体量最大的几个互联网公司,也都是作为云厂商的几个大玩家。  在这几家技术公司的合力推动之下,云计算的时代真正来到了我们身边。优秀的技术公司不会缺少自己的技术思...

搜索引擎蜘蛛爬虫 User Agent 一览(便于采集)

今天分析研究了两个网站的 Apache 日志,分析日志虽然很无聊,但却是很有意义的事情,比如跟踪 SPAM 的 User Agent。顺便整理出一些搜索引擎爬虫的 User Agent,在这里分享一下...

scrapy 爬虫程序一览

scrapy 简单程序,体会编写过程,整体感知

【Python学习】python爬虫Google翻译的实现

由于最近的学习,需要把相关的中文语料进行翻译,自然而然想到爬虫获取,主要尝试了谷歌翻译和有道翻译。 一、谷歌翻译 1.1  所需模块(Python 2.7)          ①re     ...

利用Google爬虫DDoS任意网站

提醒:以下内容仅供安全测试及教学参考,禁止任何非法用途 Google的FeedFetcher爬虫会将spreadsheet的=image(“link”)中的任意链接缓存。 例如: 如...

Python 爬虫之Google翻译实现

用过一些翻译工具,发现还是Google翻译最准确,但是Google翻译现在没有免费的API,网上的一些爬虫资料也太过陈旧了,Google翻译的机制早都改了,完全无用。这里简单的提供一下实现,需要更多功...

设置nginx让baidu,google等爬虫抓取不同语言的页面

很多网站都有多语言版本,站长往往希望baidu爬虫爬中文页面,而google爬虫爬英文页面。于是,如果网站如以nginx做前端的话,站长往往会在nginx.conf中设置http头的accept-la...

web爬虫之登录google paly 商店

我们先打开Google play 首页 ,点击右上角“登陆”按钮,即跳到登陆页面 每次我要用爬虫的方式来登陆某个网站的时候,我都会先随便输入一个账号密码点击登陆一次,看看登陆之后会post出去的数据有...
  • ChSaDiN
  • ChSaDiN
  • 2015年06月30日 10:33
  • 2903

Google爬虫如何抓取JavaScript的?

Google爬虫如何抓取JavaScript的?
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Googlebots(Google爬虫)一览
举报原因:
原因补充:

(最多只允许输入30个字)