[数据统计] 搜索引擎索引库：百度大于雅虎中国 之一

[数据统计] 搜索引擎索引库：百度大于雅虎中国 之一

互联网渗透的越深、世界就会越平；信息越透明，诚信越重要---题记

        关心搜索引擎的朋友们都知道，搜全率和搜准率是衡量搜索引擎系统的两项基础指标，在很多关于搜索引擎技术评比的文章中搜全率和搜准率被频频提及。

        搜准率是一个很难量化的指标，如何判断一个搜索引擎的搜索结果和使用者的意图最相关，没有一个定性的结论。所以很多冠以智能化、社会化、元搜索头衔的搜索引擎也都是朝搜准这个方向努力，耐人寻味的是，大多数公司都宣称自己的搜索引擎是基于那些技术，却没有告诉我们一个可以接受的衡量指标。当然，这不怪他们。

        搜全率相对来说则可以量化，最简单的衡量指标就是索引量了。google和yahoo 之间曾有过争论：“实测证明Google仍是搜索之王 雅虎"牛皮"吹破” 。对于这次争论google是如何反击的呢？正如keso所说的google在反商业化的上的成功一样，google 随后不久透露要减小索引库的大小。很显然对于浩如烟海的互联网来说，能搜全仍是一个艰巨的目标。

        类似的情景正在中国上演。在“It人士每天必读的100篇互联网新闻”上经常可以看到雅虎中国的宣传稿件，主题有开创蓝海、搜索盲测、抓虫行动等等，而百度此类的新闻却鲜有耳闻。百度的低调或许可以让他在靠近“google”的形象上多加一分。

中文搜索引擎谁最好？除了搜全率和搜准率外，最近又多出了一个争论的焦点：“谁最懂中文”。然后在这场单方面发起的谁最懂中文的时候，搜狗却实实在在的来了句：“搜狗更懂网络”。我想雅虎市场人员也许该从百事可乐的成功中学点什么。

作为一个搜索引擎的爱好者，我对搜全率和搜准率的问题也非常关注。于是动手准备测试一下雅虎中国和百度索引库的情况。这并不是一个好差事，但我决定还是尝试一下。

搜全率的测试方法：基本方法：抽样测试
分2个阶段进行：
1、测试对指定站点的索引量 （本文进行分析）
2、测试对基础关键词的索引量（在下一篇文章中进行分析）

本文的数据主要是对“指定站点的索引量”的一个数据统计。

基本资料分三部分：
1、指定站点的来源，出于公平的考虑，指定站点分别来源于：http://site.baidu.com 和 http://site.yahoo.com.cn 。总共4784个，可以从下面的链接下载。
2、对上述站点的索引量统计，即使用：site:domain 的方法获取搜索引擎对此站点的索引量。为了增加可比性，去掉了索引量为0的站点（或许因为网络错误造成的，原始资料在附件中）。
   （前端时间百度的site数量变化有些异常，现在基本正常。另一篇文章会捎带分析这个现象。）
3、相关分析。

结果见下图：

 

 

（分析过程省略,详细的数据可以从这里下载: http://www.search-analysis.com/baiduVSyahoochina-01.rar）

结论：
1、百度的索引库比雅虎中国的大。
 在双方都认为最重要的3793个站点中：百度索引量：1626829061  ，雅虎中国的索引量：1018594668，高出：608234393 ，高出6亿。

2、百度的索引量分布图比较接近“长尾 Long Tail ”，长尾曲线比较完美。图形越接近长尾表明搜索引擎索引库基础的架构越好。
   （理由是："哥白尼对天动说美学上的反对是他拒绝托勒密体系的重要原因..." - Thomas Kuhn, The Copernican Revolution ）

        很显然上面的分析还不一定能囊括所有方面，因此我准备还从下面几个方面继续深入研究：

之二：[百度vs雅虎中国]收录量和pr的相关性；
之三：[百度vs雅虎中国]索引量和alexa排名的相关性；
之四：[百度vs雅虎中国]如何测试搜索索引库的膨胀率；

 原文： [数据统计] 搜索引擎索引库：百度大于雅虎中国 之一