计算两个向量间的欧氏距离_计算字符串距离

我们平时在工作中，经常需要进行一些字符串处理工作，会碰上要比较字符串的相似性，比如拼写纠错、文本去重、上下文相似性等。度量的方法有很多，到底使用哪一种方法来计算相似性，这就需要我们根据情况选择合适的方法来计算。这里把几种常用到的度量字符串相似性的方法罗列一下，仅供参考。本文主要讲一下文本相似度计算的几个距离公式，主要包括：欧氏距离、余弦相似度、Jaccard距离、编辑距离。距离计算在文本很多场景下都可以用到，比如：聚类、K近邻、机器学习中的特征、文本相似度等等。

假设两个文本X=(x1, x2, x3,...xn)和Y=(y1, y2, y3, ..., yn)，其向量表示分别为：Vec(X) = (v1, v2, v3, ... vp), Vec(Y) = (l1, l2, l3, ... lp)

01

—

余弦相似性(cosine similarity)

余弦相似性是定义在向量空间模型(VSM)中的。它的定义如下：

其中，A,B为向量中间中的两个向量。在使用它来做字符串相似性度量的时候，需要先将字符串向量化，通常使用词袋模型(BOW)来向量化。举个例子如下：

String1 = “apple”
String2 = “app”

则词包为｛’a’,’e’,’l’,’p’｝，若使用0,1判断元素是否在词包中，字符串1、2可以转化为：

StringA = [1111]
StringB = [1001]

那么，根据余弦公式，可以计算字符串相似性为：0.707。

02

—

欧氏距离(Euclidean distance)

欧氏距离定义在向量空间模型中，计算使用欧氏距离公式：

03

—

编辑距离(edit distance)

编辑距离，有的地方也会称为Levenshtein距离，表示从一个字符串转化为另一个字符串所需要的最少编辑次数，这里的编辑是指将字符串中的一个字符替换成另一个字符，或者插入删除字符。例如上例String1通过删除’l’与’e’转化为String2，所以其最小编辑次数为2。
编辑距离的核心就是如何计算出一对字符串间的最小编辑次数，考虑到问题的特点，我们可以使用动态规划的思想来计算其最小编辑次数，根据维基百科：两个字符串a=a1a2⋯an，b=b1b2⋯bma=a1a2⋯an，b=b1b2⋯bm的编辑距离递归计算公式如下：

其中，w表示增删改三种操作的权重，一般定义为：

di0=i" role="presentation" style=" box-sizing: border-box; outline: currentcolor none 0px; margin: 0px; padding: 0px; font-weight: 400; font-family: "Microsoft YaHei", "SF Pro Display", Roboto, Noto, Arial, "PingFang SC", sans-serif; display: inline; font-style: normal; line-height: normal; font-size: 14px; text-indent: 0px; text-align: left; text-transform: none; letter-spacing: normal; word-spacing: 0px; overflow-wrap: break-word; white-space: nowrap; float: none; direction: ltr; max-widt