余弦相似度机器学习_深度学习-5.短文本相似度计算

最新推荐文章于 2023-06-19 11:38:14 发布

OZARGPT

最新推荐文章于 2023-06-19 11:38:14 发布

阅读量474

点赞数

文章标签：余弦相似度机器学习

本文链接：https://blog.csdn.net/weixin_32193393/article/details/112750433

版权

本文介绍了短文本相似度计算在自然语言处理中的重要性，并探讨了Jaccard相似系数、最长公共子序列、最小可编辑距离以及余弦相似度等算法，提供相关代码示例，适合初学者了解文本相似度计算。

摘要由CSDN通过智能技术生成

短文本相似度的计算在nlp自然语言处理中是十分重要的知识，它运用于很多领域，例如文本分类，文本去燥等等。

今天来看几种文本相似度的计算算法，有些会讲原理有些会直接给出算法。

基于文本字符的相似度计算
Jaccard
最长公共子序列(LCS)
最小可编辑距离 基于词频向量的相似度计算
余弦相似度

主要有这么几种吧，接下来我们一一介绍。

基于文本字符的相似度计算

Jaccard ：

Jaccard index , 又称为Jaccard相似系数（Jaccard similarity coefficient），对于字符串A、B，分别做分词得到分词集SA，SB，那么Jaccard系数=SA与SB交集/SA与SB并集。jaccard index 巧妙的把文本，变成数学的集合运算：

基础代码如下：

def jaccard_similarity(str_a,str_b):
 	seta = split_words(str_a)
 	setb = split_words(str_b)
 	print(seta)
 	print(setb)

关注