Googlebots(Google爬虫)一览

原创 2006年06月06日 22:19:00
Google一共有多少种Googlebot呢?因为Google需要派出不同的类型的Googlebot来分析及抓取不同的网页内容。SERT的Phoenix整理出了一个列表,如下:

  1.Googlebot(即普通抓取网页的Google爬虫,例如"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

  2.MediaBot(用来分析投放了AdSense广告的网页。User Agent:"Mediapartners-Google")

  3.ImageBot(用来分析图片,然后将结果提交到Google图片搜索。User Agent:"GoogleBot-Image")

  4.AdsBot(用来检查AdWords的广告着陆页的质量。User Agent:"AdsBot-Google")

  5.Feedfetcher-Google(用来抓取各种RSS Feed)

  6.Generic Mobile Phone(移动版的Googlebot) (compatible;GooglebotMobile/2.1;+http://www.google.com/bot.html)

  上面的列表不一定完整,因为应该还有一些没有被发现的,感兴趣的朋友请留意WMW上面的相关讨论

  其实这些bots才是真正的辛勤劳动者,日夜不停地来回奔跑,值得尊敬。当然,前提是它们对你家网站感兴趣。

Google 抓取工具(Googlebot)汇总

原文:http://www.52web-analytics.com/google-googlebot-gather.html 抓取工具”是一个通用名称,泛指通过跟踪从一个网页指向另一...
  • xumesang
  • xumesang
  • 2016年10月10日 10:10
  • 1733

Googlebots(Google爬虫)一览

Google一共有多少种Googlebot呢?因为Google需要派出不同的类型的Googlebot来分析及抓取不同的网页内容。SERT的Phoenix整理出了一个列表,如下:  1.Googlebo...
  • baggio785
  • baggio785
  • 2006年06月06日 22:19
  • 1350

爬虫学习笔记一

Robots协议是什么? (也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪...
  • wangyiyan315
  • wangyiyan315
  • 2017年03月01日 14:42
  • 408

web爬虫之登录google paly 商店

我们先打开Google play 首页 ,点击右上角“登陆”按钮,即跳到登陆页面 每次我要用爬虫的方式来登陆某个网站的时候,我都会先随便输入一个账号密码点击登陆一次,看看登陆之后会post出去的数据有...
  • ChSaDiN
  • ChSaDiN
  • 2015年06月30日 10:33
  • 3213

PYTHON爬虫——谷歌(Google)图片关键词爬取

转载请注明出处: http://blog.csdn.net/Hk_john/article/details/78455889 给出完整代码:(请需要的自行下载,有问题请留言) http:/...
  • Hk_john
  • Hk_john
  • 2017年11月20日 14:09
  • 517

Google爬虫IP 地址大全

Google爬虫的IP地址如下,大家在分析日志的时候可以作参考64.68.80.*64.68.81.*64.68.82.*64.68.84.*64.68.88.*216.239.46.*216.239...
  • baggio785
  • baggio785
  • 2006年05月06日 19:53
  • 2929

让你秒懂apache禁止网络爬虫采集的方法

导读 Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上,由于其跨平台和安全性被广泛使用,是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的AP...
  • Listen2You
  • Listen2You
  • 2017年03月13日 23:40
  • 1124

手把手教你scrapy + mongodb 爬虫爬取GooglePlay

这几天折腾了一个分布式爬虫,我自己也是刚开始学,查了很多资料,现在终于可以动了,我觉得应该发文纪念一下,也是一个总结. scrapy是一个python的爬虫框架,可以让你很快的开发出一个爬虫,首先假定...
  • qq508618087
  • qq508618087
  • 2016年11月15日 03:43
  • 2538

Python简单的爬虫:Google的全部doodles

BeautifulSoup4爬Googles的所有Doodles图片
  • rzzssss
  • rzzssss
  • 2017年01月13日 12:59
  • 569

Google爬虫的威力有多大?轻易摧毁一政府网站!!!

300) {this.resized=true; this.width=300;}" />  大家都知道现在的搜索引擎都是通过爬虫来收录网页内容的,当然,你也可以主动提交自己的网站,但接下来,还是会有...
  • metababy
  • metababy
  • 2006年03月30日 11:25
  • 3346
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Googlebots(Google爬虫)一览
举报原因:
原因补充:

(最多只允许输入30个字)