文档内容相似项处理-Shingling

集合的Jaccard相似度定义：对于两个集合A和B，A和B的Jaccard相似度记为SIM（A，B）=|A∩B|/|A∪B|。

计算文档内容的相似度可以用来检测文档抄袭作弊或者镜像页面等。

为了计算文档内容之间的相似度，首先也将文档进行分词处理，然后计算Jaccard相似度。

shingling用来处理文档内容的分词，需要考虑shingle的大小。

例如，字符串“abcd" , 2个shingle大小的分词结果为：ab，bc，cd。

简单的shingling描述如下所示：

def get_shingles(file, shingle_size):
    buf = f.read() # read entire file
    for i in range(0, len(buf)-shingle_size+1):
        yield buf[i:i+size]

为了减少分词的存储空间，常用最小的哈希组成的摘要来表示，得到最小的哈希签名。