使用jaccard距离计算文本相似度

1. 使用simhash计算文本相似度
2. 使用余弦相似度计算文本相似度
3. 使用编辑距离计算文本相似度
4. jaccard系数计算文本相似度

4. jaccard系数计算文本相似度

4.1 jaccard系数

jaccard系数反映了两个向量（元素取值为0或1）间的关系。即对于$\vec{A}$和$\vec{B}$，定义：
$N_{A_0{B}_0}$ = $\vec{A}$中元素值为0且$\vec{B}$中元素值为0的个数
$N_{A_1{B}_0}$ = $\vec{A}$中元素值为1且$\vec{B}$中元素值为0的个数
$N_{A_0{B}_1}$ = $\vec{A}$中元素值为0且$\vec{B}$中元素值为1的个数
$N_{A_1{B}_1}$ = $\vec{A}$中元素值为1且$\vec{B}$中元素值为1的个数
则 jaccard系数可以表示为：

$$J(A,B)=\frac{N_{A_0{B}_0}+N_{A_1{B}_1}}{N_{A_0{B}_0}+N_{A_1{B}_0}+N_{A_0{B}_1}+N_{A_1{B}_1}}(1)$$

当向量中为0的元素远大于为1的元素的个数时，$N_{A_0{B}_0}$ 需要从计算中移除，而只关注均为1的元素的个数。因为当$N_{A_0{B}_0}$较大时，整个计算结果将区域稳定，无明显特征了。所以以上公式变为：

$$J(A,B)=\frac{N_{A_1{B}_1}}{N_{A_1{B}_0}+N_{A_0{B}_1}+N_{A_1{B}_1}}(2)$$

另一种用集合表示的方法：

$$J(A,B)=\frac{|A\bigcap B|}{|A\bigcup B|}=\frac{|A\bigcap B|}{|A|+|B|-|A\bigcap B|}(3)$$

4.2 jaccard系数相似度

jaccard系数值越大，相似度越高，另一种说法是用jaccard距离表示相似度即：$1-J(A,B)$，本质一样，但jaccard距离越大相似度越小。

一般的 jaccard系数只适用于计算元素取值为0或1的集合，但是要注意的是这里取值为0或1并不是值集合中的值为0或1，而仅仅是集合中元素的取值为0或1，而计算出的jaccard系数是和元素本身相关的。

4.2.1 jaccard系数衡量维度相似性

jaccard系数很适合用来分析多个维度间的相似性，也多被用于推荐系统中用来给用户推荐相似的产品或业务。
举个例子，要计算某网站的两个用户的相似性，可以从性别、地区、年龄、浏览时间等等维度进行分析，我们把这些维度再进行细化：
男性、女性、小于18岁、18岁-40岁、40岁以上、浏览时间为早上、浏览时间为中午、浏览时间为下午
将以上维度作为一个集合，对两个用户$A$和$B$，将符合以上维度的指标值置为1，其他置为0。
假设用户$A$=[男性=1, 女性=0, 小于18岁=0, 18岁-40岁=1, 40岁以上=0, 浏览时间为早上=0, 浏览时间为中午=0, 浏览时间为下午=1]
假设用户$B$=[男性=1, 女性=0, 小于18岁=1, 18岁-40岁=0, 40岁以上=0, 浏览时间为早上=0, 浏览时间为中午=0, 浏览时间为下午=1]
即他们只有年龄不同，则根据计算公式，得到的jaccard系数值为：

$$J(A,B)=\frac{N_{A_1{B}_1}}{N_{A_1{B}_0}+N_{A_0{B}_1}+N_{A_1{B}_1}}=\frac{2}{4}=0.5$$

即他们的相似度为0.5

用matlab验证下：

4.2.1 jaccard系数衡量文本相似性

虽然jaccard主要是在维度分析这样的稀疏向量中作用比较大，但是在文本相似度计算时也可用jaccard。

仍然用之前的文本作为输入样本：

样本1：今天天气真好
样本2：今天天气不错

首先要做的还是分词：

A = [今天,天气,真好]

B = [今天,天气,不错]

$$J(A,B)=\frac{|A\bigcap B|}{|A\bigcup B|}=\frac{2}{4}=0.5$$

转化为01向量，用matlab验证下：

4.3 jaccard系数计算实现(java)

public static double jaccard(String s1, String s2) {
        List<String> words1 = splitWords(s1);
        List<String> words2 = splitWords(s2);

        List<String> temp = new ArrayList<>();
        temp.addAll(words1);
        temp.addAll(words2);
        List<String> union = temp.stream().distinct().collect(Collectors.toList());
        List<String> intersect = new ArrayList<>();

        List<String> a = words1.stream().
                map(x -> words2.contains(x) ? x : null).
                collect(Collectors.toList());

        List<String> b = words2.stream().
                map(x -> words1.contains(x) ? x : null).
                collect(Collectors.toList());

        intersect.addAll(a);
        intersect.addAll(b);
        intersect = intersect.stream().distinct().collect(Collectors.toList());
        intersect.removeAll(Collections.singleton(null));

        return 1.0 * intersect.size() / union.size();
    }

4.4 总结

以上只是简单的从字符出现或者没有出现的角度进行相似度计算，而没有考虑其他因素。实际上，还可以结合词义进行近义词替换，来进一步达到语义层面的相似度计算，这样结果会更为准确。
下面时jaccard的耗时：