文本相似度算法介绍

文本相似度算法

LevenshteinDistance
SpacySimilarity
JaccardSimilarity

Levenshtein Distance算法

中文名:莱文斯坦距离 参考资料:https://en.wikipedia.org/wiki/Levenshtein_distance

Levenshtein distance是表征或度量两段字符串的差异度的概念,以单词kitten和sitting为例,定义:替换(substitution)、插入(insert)和删除(delete)三种标准编辑手段来消除这两个词之间的差异,每经过1次标准编辑手段,Levenshtein distance增计一次,则kitten需经过2次替换、1次插入新字符,来得到sitting这个单词,因此所谓的Levenshtein distance应为3。按照其定义,该距离和字符串差异度呈正比关系。

定义: 两个字符串a,b之间的莱文斯坦距离

编辑距离是NLP基本的度量文本相似度的算法,可以作为文本相似任务的重要特征之一,其可应用于诸如拼写检查、论文查重、基因序列分析等多个方面。但是其缺点也很明显,算法基于文本自身的结构去计算,并没有办法获取到语义层面的信息。

SpacySimilarity算法

SpacySimilarity属于语义相似度的计算方法。

参考资料: https://spacy.io/api/doc/#similarity

先将句子的词向量求平均,获取句子的语义表示,然后计算两个句子的语义表示的余弦相似度。

JaccardSimilarity算法

参考资料:https://en.wikipedia.org/wiki/Jaccard_index

给定两个集合A,B,Jaccard 系数定义为A与B交集的大小与A与B并集的大小的比值,定义如下:

当集合A,B都为空时,J(A,B)定义为1。

与Jaccard 系数相关的指标叫做Jaccard 距离,用于描述集合之间的不相似度。Jaccard 距离越大,样本相似度越低。

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页