k-shingle

文档的k-shingle算法

本文主要是讲解以Java实现。首先得出两篇文档的k-shingle，然后计算他们的Jaccard相似度:

集合的Jaccard相似度

集合S和T的Jaccard相似度为|S∩T|/|S∩T|，也就是集合S和T的交集的集合和集合并集大小之间的比率。一般将和T的相似度记作SIM(S，T)。

---

k-shingle

一篇文档就是一个字符串。文档的k-shingle定义为其中任意长度为k的子串。

• 假设文档D为字符串abcdabd，选择k = 2， 则文档中的所有2-shingle组成的集合为{ab，bc，cd，da，bd}。

  
  

计算 str1 = “ABCDE” 和 str2 = “ABCDF” 的 2-shingle 的jaccard相似度

- 当 k = 2时， str1 的 2-shingle 为集合A = {AB，BC，CD，DE}，而str2的 2-shingle为集合B={AB，BC，CD，DF}。
- 因为A∪B = {AB，BC，CD，DE，DF}，并且A∩B={AB，BC，CD}，所以 SIM(A，B) = 3/5;

java代码实现

import java.util.*;

public class ShingleBased {
    public static void main(String args[]){
        ShingleBased j2 = new ShingleBased(2);
        // AB BC CD DE DF
        // 1  1  1  1  0
        // 1  1  1  0  1
        // => 3 / 5 = 0.6
        System.out.println(j2.similarity("ABCDE", "ABCDF"));
    }

    private int k;

    ShingleBased(final int k) {
        this.k = k;
    }

    public int getK() {
        return k;
    }

    public final Map<String, Integer> getProfile(String string) {
        HashMap<String, Integer> shingles = new HashMap<String, Integer>();

        for (int i = 0; i < (string.length() - k + 1); i++) {
            String shingle = string.substring(i, i + k);
            Integer old = shingles.get(shingle);
            if (old != null) {
                shingles.put(shingle, old + 1);
            } else {
                shingles.put(shingle, 1);
            }
        }

        return shingles;
    }

    public final double similarity(final String s1, final String s2) {

        if (s1.equals(s2)) {
            return 1;
        }

        Map<String, Integer> profile1 = getProfile(s1);
        Map<String, Integer> profile2 = getProfile(s2);


        Set<String> union = new HashSet<String>();
        union.addAll(profile1.keySet());
        union.addAll(profile2.keySet());

        int inter = profile1.keySet().size() + profile2.keySet().size()
                - union.size();

        return 1.0 * inter / union.size();
    }

}

---

参考

• 大数据互联网大规模数据挖掘与分布式处理
• github.