本文主要讲一下文本相似度计算的几个距离公式,主要包括:欧氏距离、余弦相似度、Jaccard距离、编辑距离。
距离计算在文本很多场景下都可以用到,比如:聚类、K近邻、机器学习中的特征、文本相似度等等。接下来就一一介绍一下:
假设两个文本X=(x1, x2, x3,...xn)和Y=(y1, y2, y3, ..., yn),其向量表示分别为:Vec(X) = (v1, v2, v3, ... vp), Vec(Y) = (l1, l2, l3, ... lp)
1.欧式距离
欧式距离也称欧几里得距离,是最常见的距离度量,衡量的是多维空间中两个点之间的绝对距离。
计算公式如下:
2.余弦相似度
余弦相似度用向量空间中两个向量的夹角的余弦值来衡量两个文本间的相似度,相比距离度量,余弦相似度更加注重两个向量在方向上的差异,一般情况下,用Embedding得到两个文本的向量表示之后,可以使用余弦相似度计算两个文本之间的相似度。
计算公式如下: