基于动态规划的编辑距离计算公式及应用

---

https://www.jianshu.com/p/a617d20162cf

1. 编辑距离的定义

编辑距离（Minimum Edit Distance，MED），由俄罗斯科学家 Vladimir Levenshtein 在1965年提出，也因此而得名 Levenshtein Distance。编辑距离一般用于度量两个序列相似程度的指标，具体来说，它计算的是一个序列A最少可以经过多少次操作变成另一个序列。这里的操作包括以下三种：

1. 插入（Insert）
2. 删除（Deletion）
3. 替换（Substitution）

比如字符串australia和austrian，后者可以由前者进行三次操作得到（2次删除，分别是a和l；一次插入，n）；字符串ABCDE和AFGE进行3次操作得到。

2. 基于动态规划的求解算法

2.1. 递推公式

对于两个字符串$a,b$，记$f(i,j)$为$a$中前$i$个字符$a[0:i]$与$b$中前$j$个字符$b[0:j]$的编辑距离，则有：
$$f(i,j)=\{\begin{array}{rlr}& max(i,j),& ifmin(i,j)=0\\ & min\{\begin{array}{rl}& f(i-1,j)+1\\ & f(i,j-1)+1\\ & f(i-1,j-1)+1_{(a_i\ne b_j)}\end{array}& ifmin(i,j)\ne 0\end{array}$$
解释：

• $max(i,j)$很好理解，当$i=0$时，$a[0:i]$变为$b[0:j]$只需要插入$j$个字符；当$=0$时，$a[0:i]$变为$b[0:j]$只需要删除$i$个字符.
• $f(i-1,j)+1$表示$a[0:i]$变为$b[0:j]$的一种方式是，先将$a[0:i-1]$转变为$b[0:j]$，然后删除$a[i-1]$.
• $f(i,j-1)+1$表示$a[0:i]$变为$b[0:j]$的一种方式是，先将$a[0:i]$转变为$b[0:j-1]$，然后插入$b[j-1]$.
• $f(i-1,j-1)+1_{(a_i\ne b_j)}$表示$a[0:i]$变为$b[0:j]$的一种方式是，先将$a[0:i-1]$转变为$b[0:j-1]$，然后判断$a[i-1]$和$b[j-1]$是否相等，若相等，则无需操作，否则需要将$a[i-1]$替换为$b[j-1]$.

上面的第一条是作为初始化，后三条是递推公式的所有情况，所以后三条应该选择操作次数最小的那条。
如果将上述地推过程的中间结果存储下来，则会得到如下图所示的矩阵

2.2. python代码实现

class Solution:
    def minDistance(self, word1: str, word2: str) -> int:
        matrix=[[i+j for j in range(len(word2)+1)] for i in range(len(word1)+1)]

        for i in range(1,len(word1)+1):
            for j in range(1,len(word2)+1):
                if word1[i-1]==word2[j-1]:
                    matrix[i][j]=matrix[i-1][j-1]
                else:
                    matrix[i][j]=matrix[i-1][j-1]+1
                matrix[i][j]=matrix[i-1][j]+1 if matrix[i-1][j]+1<matrix[i][j] else matrix[i][j]
                matrix[i][j]=matrix[i][j-1]+1 if matrix[i][j-1]+1<matrix[i][j] else matrix[i][j]
        return matrix[-1][-1]

3. 应用

常见的应用是计算ASR模型的错字率（WER, Word Error Rate），以及nlp里面计算两个文本的相似度