[搜索引擎]聊一聊网页去重

网页去重

网页去重是有必要而且有好处的, 首先, 相似的网页肯定没有意思, 应该提高用户的体验,所以应该把相似的网页去重后显示, 或者聚合后显示. 其次, 如果某些网页相似的很多, 说明其中内容(如果是非人为恶意制造的话)应该是最近比较热门的内容, 应该优先展示, 还有, 相似网页去重可以节省索引空间.

所谓的网页重复可以分为以下几个维度去看待, 第一, 核心内容重复, 第二, 布局重复.
其中, 核心内容重复是最关键的. 我们应该去发掘其核心内容是否重复.

而网页去重, 应该说, 有非常多的手段. 但是都有几个普遍的特点, 1.能够相对精准的计算相似度, 2.步骤不要太复杂繁琐,相对简单, 从而实现高效的计算. 1和2这两个要求其实是矛盾的, 所以需要一个平衡.

而去重算法, 核心思路都是提取特征,然后进行计算. 这其中用到的大量专业的知识, 我就不再次深究了, 以后有机会慢慢研究其中一个.