基于RSS/FEED的内容发现更节省带宽

Jen的文章 AdSense mediapartners蜘蛛已经被抓取到了Google的主搜索索引中，我目前还没有发现类似样例，大部分内容还是通过Googlebot发现，但是提交到 Sitemaps中的内容已经是通过Google的Feedfetcher进行同步了。

车东Che, Dong - My Window, Your Bridge
联系方式|Contact]. Google Talk · 雅虎招聘 [My Bloginality is INTJ]. Alexa流量统计：, 2006-04-18 03:50 @72.14.199.83 
CrawledBy Feedfetcher-Google; (+http://www.google.com/feedfetcher.html) show this page source · Send me a book.
www.chedong.com/ - 46k - 2006年4月17日 - 网页快照 - 类似网页

从日志统计中也可以看出来，虽然FEED的访问频度要比以前的蜘蛛高很多，但是由于有文件是否更新的检查，占用的带宽却不一定升高。因此基于FEED的新内容发现比蜘蛛遍历网站效率还是要高很多。以下是一些日志统计的结果：

访问次数 流量(M) 平均大小(K) 蜘蛛名
57555	1750	31.1 	Potu Rss-Reader(1.13) www.potu.com
14518	28.92	2.0 	GreatNews/1.0
12960	0.51127	0.0 	Mozilla/5.0
11020	712.57	66.2 	Sunjet ( http://newsfeed.i5un.com/)
7725	237.09	31.4 	-
7249	54.01	7.6 	lilina 0.7 ( http://lilina.sf.net/)
5457	32.3	6.1 	Mozilla/4.0 (compatible; Google Desktop)
4648	136.67	30.1 	Gregarius/0.5.2 ( http://devlog.gregarius.net/docs/ua)
4053	125.3	31.7 	Potu Rss-Reader(1.12) www.potu.com
4040	123.95	31.4 	Mozilla/4.0 (compatible; Win32; WinHttp.WinHttpRequest.5)
3962	60.07	15.5 	MagpieRSS/0.7 ( http://magpierss.sf.net)
3913	4.16	1.1 	Feedfetcher-Google; ( http://www.google.com/feedfetcher.html)
3477	122.06	35.9 	http://www.gougou.com RSS Online Reader
3403	104.45	31.4 	FeedTools/0.2.18 http://www.sporkmonger.com/projects/feedtools/
3328	26.1	8.0 	Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.0.1) Gecko/20060111 Firefox/1.5.0.1
2970	98.38	33.9 	MT::Telegraph::Agent/0.031
2759	90.37	33.5 	Mozilla/4.0

标黑的蜘蛛或RSS浏览器都遵循了HTTP 1.1规范，在读取同步时进行了文件更新的校验，如果文件没有更新，则自动读取了本地的缓存。而大部分基于本地浏览器的在线RSS阅读每次都重复进行了内容同步，带宽消耗很大。
      作者：车东 发表于：2006-04-19 18:04 最后更新于：2007-07-28 00:07
版权声明：可以转载，转载时请务必以超链接形式标明文章 基于RSS/FEED的内容发现更节省带宽 的原始出处和作者信息及本版权声明。
http://www.chedong.com/blog/archives/001140.html

« 妮妮收到了Sarah Khider（芝华士广告歌 主唱）的留言 | (回到Blog入口)|(回到首页) | 如何寻找暑期实习机会 » [再编辑]