搜索引擎反作弊与幂律分布

幂律反作弊

由于搜索引擎普遍基于PageRank在做，有一种很常见的手法就是给一个网页设置足够多的入链和出链，以提高网页的搜索权重。搜索引擎针对这种作弊方式，会用到“幂律分布”来识别。即，网页的出链和入链是否满足以下规律：少量链接拥有大量流量，大量链接拥有少量流量。也可以更通俗的说，是否符合二八定理。如果一个网页的出链和入链不满足这个规律，那存在作弊行为的可能性就会比较大。

幂律分布

幂律分布的函数表示，“幂函数”，属于初等函数，很简单：y=x^a（即，y等于x的a次方）。
为了有一个更形象的描述，可以看下这张从网上找到的图：

指数分布

前面文章（网络爬虫与泊松分布、指数分布）提到过指数分布，和这里说的幂律分布从线性坐标体系中的函数图像上面看，很相似。指数分布的函数，“指数函数”，也属于初等函数：y=a^x（即，y等于a的x次方）。在线性坐标体系中的函数图像是这样的：

双对数坐标系

这两种分布只有在双对数坐标体系中才能看出明显区别，很遗憾没有找到图示。