基于字符串比对的文档复制检测方法

        基于字符串比对的文档复制检测方法是从文档中选取一些字符串,然后把字符串映射为Hash表中的数值,这些数值被称为“近似指纹''。通过统计Hash表中相同的“近似指纹”的数目或者比率来获得文档间的相似度。

       过程：选取字符串----hash map-----Compute  Resemblance

1. Sif工具

     首先构造一个字符集,字符集中的每个元素称为销(anchor), 然后选择一个锚,取销之后的50个字节的字符作为“近似指纹'',然后通过hash 运算将不同的字符串映射不同的数值,在比对两篇文档的数值集合,如果代表两 篇文档的数值组合中相同的数字超过一定的阐值,则系统判断两篇文档相似。

2.Shingling 方法

    Shingling方法是把W(窗口大小)个连续的单词被称为一个shingle,然后从文档中选取一定数量的shingles集合构成文档指纹集。生成shingles的基本思路是：

在shingling和过滤高频、无意义的停用词后,从第一个单词 始扫描,按照文本从左到右的阅览顺序,取滑动窗口大小W的词组作为第一个划分出来的shingle,然后再从第二词语开始扫描,按照相同的窗口大小来提取第二个shingle,这样一直下去,直到文本结束为止。为了更加形象的说明文本shingle的生成过程,举例如处理文本D: Arose is arose。若窗口大小w=3,则shingles的集合为:{A rose is | rose is a | is a rose}。

下一篇文章将介绍基于相似度估计方法。