版权声明:本文为博主原创文章,未经博主同意不得转载。
https://blog.csdn.net/jituotianxia2009/article/details/25339807
集合的Jaccard类似度定义:对于两个集合A和B,A和B的Jaccard类似度记为SIM(A,B)=|A∩B|/|A∪B|。
计算文档内容的类似度能够用来检測文档抄袭作弊或者镜像页面等。
为了计算文档内容之间的类似度,首先也将文档进行分词处理。然后计算Jaccard类似度。
shingling用来处理文档内容的分词,须要考虑shingle的大小。
比如,字符串“abcd" , 2个shingle大小的分词结果为:ab,bc,cd。
简单的shingling描写叙述例如以下所看到的:
def get_shingles(file, shingle_size):
buf = f.read() # read entire file
for i in range(0, len(buf)-shingle_size+1):
yield buf[i:i+size]
为了降低分词的存储空间。经常使用最小的哈希组成的摘要来表示。得到最小的哈希签名。