相似度计算

最新推荐文章于 2024-07-31 22:30:14 发布

Da小伙儿

最新推荐文章于 2024-07-31 22:30:14 发布

阅读量139

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/weixin_43633568/article/details/106616943

版权

大数据专栏收录该内容

8 篇文章 0 订阅

订阅专栏

cos和Jaccard
cos公式就是计算两个向量的距离
Jaccard是两向量的交 / 两向量的并，因此也可以更快的计算相似度

"""
Step 1：Cosine
Step 2：Jaccard
"""

# Step 1: Cosine
input1_str = "我们 带来 阿里巴巴 希望 差 差 差"
input2_str = "我们 带来 阿里巴巴 希望 好 好 好"

def cosine(input1_str, input2_str):
    t1_dict = {}
    sum = 0

    for k, v in get_tfidf(input1_str):
        sum += pow(v,2)
    sum = math.sqrt(sum)
    for k, v in get_tfidf(input1_str):
        t1_dict[k] = float(v / sum)

    for k, v in get_tfidf(input1_str):
        sum += pow(v,2)
    sum = math.sqrt(sum)
    final_score = 0
    for k, v in get_tfidf(input2_str):
        if k not in t1_dict:
            continue
        s1 = t1_dict[k]
        s2 = float(v / sum)
        final_score += s1 * s2
    return final_score

print(cosine(input1_str, input2_str))

# Step 1: Jaccard
input1_str = "我们 带来 阿里巴巴 希望 差 差 差"
input2_str = "我们 带来 "

def jaccard(input1_str, input2_str):
    s1_set = set(input1_str.strip().split(' '))
    s2_set = set(input2_str.strip().split(' '))

    score = 0
    s1_s2_join = s1_set & s2_set
    len1 = len(s1_s2_join)

    s1_s2_union = s1_set | s2_set
    len2 = len(s1_s2_union)

    return  float(len1) / float(len2)
print(jaccard(input1_str, input2_str))