1. Jaccard Similarity 定义
定义: Jaccard Similarity是针对2个集合而言的,对于集合S和 T,Jaccard similarity: Jaccard(S,T) = |S交T| / |S并T|
例子1:
S={a,b, c}, T={b, c, d}
Jaccard(S, T)= 2/4
例子2:
R={Intel Corporation}, S={Intel Corp.}, T={Microsoft Corporation}
Jaccard(R, S)= 1/3, Jaccard(R, T)= 1/3
暂不考虑weighted Jaccard
2. 字符串Jaccard Similarity求解
对于字符串求解Jaccard Similarity,先要根据q-gram对字符串进行划分,得到子串集合。
(由于字符串进行拆分时,可能出现相同的字符串,在接下来的分析中相同的字符串只计算一次)
所以问题就转化为求2个字符串集合的交集和并集元素个数。
3. 源程序
double getJac(const char*str1, const char*str2, int step) {
string s1 = str1;
string s2 = str2;
int m = strlen(str1);
int n = strlen(str2);
set<string> S;
set<string> T;
for(int i=0; i<=m-step; i++) {
string tmp = s1.substr(i, step);
S.insert(tmp);
}
for(int i=0; i<=n-step; i++) {
string tmp = s2.substr(i, step);
T.insert(tmp);
}
int commonNum = 0;
set<string>::iterator iter1;
for(iter1=S.begin();iter1!=S.end();iter1++) {
int isIn = T.count(*iter1);
commonNum += isIn;
}
int mergeNum =S.size()+T.size()-commonNum;
return double(commonNum)/mergeNum;
}
Remark: step是q-gram中的q。
程序实现用了STL的容器set。
假设对于aabb和aabd,按照1-gram,则会出现以下2种情况:
a) S={a,b},T={a,b,d},Jaccard(S,T)=2/3
b) S={a,a,b,b},T={a,a,b,d},Jaccard(S,T)=3/4
以上哪种情况是对的呢?
按理来说这两种都可以,在没特别说明下我们使用第一种。
a) S={a,b},T={a,b,d},Jaccard(S,T)=2/3
b) S={a,a,b,b},T={a,a,b,d},Jaccard(S,T)=3/4
以上哪种情况是对的呢?
按理来说这两种都可以,在没特别说明下我们使用第一种。