k-shingles与minhash技术

对于web网页去重的应用，如抄袭、镜像等，通过将网页表示为字符k-grams（或者k-shingles）的集合，把网页去重的问题转化为找到这些集合的交集。使用传统的方法存储这些巨大的集合以及计算它们之间的相似性显然是不够的，为此，对集合按某种方式进行压缩，利用压缩后的集合推断原来集合的相似性。

 

Jaccard相似性：只关注集合之间的交集大小。

集合S和T的Jaccard相似性定义如下：

 

比如S = { a, b, c, d } and T = { c, d, e, f } , 那么SIM(S, T )= 2/6。

 

k-Shingles

一篇文档可以看成是一个字符串，文档的k-shingle为在该文档中长度为k的所有子串。任意一篇文档都可以表示为k-shingles的集合，比如“A document is a string of characters”这句话的所有3-shingles为{ ”A d”, ”do”, ”doc”, ”ocu”, ”cum”, ”ume”, ”men”, ”ent”, . . . , ”ers” }。如果k非常小，那么k个字符的序列会出现在大多数的文档中，如k=1，许多文档都有相同的字符，几乎所有的文档都有很高的相似性。如果k应该足够大，那么对于给定的shingle出现在不同的文档中的概率是非常低的。比如这两个单词“ document”和“monument”：