java英文文本相似度计算_java文本相似度计算

算法介绍:

编辑距离(Edit Distance)，又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。

算法原理:

设我们可以使用d[ i , j ]个步骤(可以使用一个二维数组保存这个值)，表示将串s[ 1…i ] 转换为 串t [ 1…j ]所需要的最少步骤个数，那么，在最基本的情况下，即在i等于0时，也就是说串s为空，那么对应的d[0,j] 就是 增加j个字符，使得s转化为t，在j等于0时，也就是说串t为空，那么对应的d[i,0] 就是 减少 i个字符，使得s转化为t。

然后我们考虑一般情况，加一点动态规划的想法，我们要想得到将s[1..i]经过最少次数的增加，删除，或者替换操作就转变为t[1..j]，那么我们就必须在之前可以以最少次数的增加，删除，或者替换操作，使得现在串s和串t只需要再做一次操作或者不做就可以完成s[1..i]到t[1..j]的转换。所谓的“之前”分为下面三种情况：

1)我们可以在k个操作内将 s[1…i] 转换为 t[1…j-1]

2)我们可以在k个操作里面将s[1..i-1]转换为t[1..j]

3)我们可以在k个步骤里面将 s[1…i-1] 转换为 t [1…j-1]

针对第1种情况，我们只需要在最后将 t[j] 加上s[1..i]就完成了匹配，这样总共就需要k+1个操作。

针对第2种情况，我们只需要在最后将s[i]移除，然后再做这k个操作，所以总共需要k+1个操作。

针对第3种情况，我们只需要在最后将s[i]替换为 t[j]，使得满足s[1..i] == t[1..j]，这样总共也需要k+1个操作。而如果在第3种情况下，s[i]刚好等于t[j]，那我们就可以仅仅使用k个操作就完成这个过程。

最后，为了保证得到的操作次数总是最少的，我们可以从上面三种情况中选择消耗最少的一种最为将s[1..i]转换为t[1..j]所需要的最小操作次数。

算法实现步骤:

步骤

说明

1

设置n为字符串s的长度。(“GUMBO”)

设置m为字符串t的长度。(“GAMBOL”)

如果n等于0，返回m并退出。

如果m等于0，返回n并退出。

构造两个向量v0[m+1] 和v1[m+1]，串联0..m之间所有的元素。

2

初始化 v0 to 0..m。

3

检查 s (i from 1 to n) 中的每个字符。

4

检查 t (j from 1 to m) 中的每个字符

5

如果 s[i] 等于 t[j]，则编辑代价cost为 0；

如果 s[i] 不等于 t[j]，则编辑代价cost为1。

6

设置单元v1[j]为下面的最小值之一：

a、紧邻该单元上方+1：v1[j-1] + 1

b、紧邻该单元左侧+1：v0[j] + 1

c、该单元对角线上方和左侧+cost：v0[j-1] + cost

7

在完成迭代 (3, 4, 5, 6) 之后，v1[m]便是编辑距离的值。

算法步骤详解:

本小节将演示如何计算”GUMBO”和”GAMBOL”两个字符串的Levenshtein距离。

步骤1、2

v0

v1

G

U

M

B

O

0

1

2

3

4

5

G

1

A

2

M

3

B

4

O

5

L

6

初始化完了之后重点是理解步骤6.

步骤3-6，当 i = 1

v0

v1

G

U

M

B

O

0

1

2

3

4

5

G

1

0

A

2

1

M

3

2

B

4

3

O

5

4

L

6

5

我们算V1中的值：以红色的0所在的格子为例

根据步骤5：

如果 s[i] 等于 t[j]，则编辑代价cost为 0；

如果 s[i] 不等于 t[j]，则编辑代价cost为1。

和

步骤6: 设置单元v1[j]为下面的最小值之一：

a、紧邻该单元上方+1：v1[j-1] + 1

b、紧邻该单元左侧+1：v0[j] + 1

c、该单元对角线上方和左侧+cost：v0[j-1] + cost

得到:

a：  该格子所在上方为  1加上1为2 b：该格子左边为1加上1为2 c：该格子对角线上方和左侧(也就是左斜对角)为0+ cost(cost是通过步骤5得到的编辑花费，这里G等于G所以编辑花费为0，cost为0) 为0

三个值中 最小的为0，则 该格子的值为0

其他格子以此类推。

步骤3-6，当 i = 2

v0

v1

G

U

M

B

O

0

1

2

3

4

5

G

1

0

1

A

2

1

1

M

3

2

2

B

4

3

3

O

5

4

4

L

6

5

5

步骤3-6，当 i = 3

v0

v1

G

U

M

B

O

0

1

2

3

4

5

G

1

0

1

2

A

2

1

1

2

M

3

2

2

1

B

4

3

3

2

O

5

4

4

3

L

6

5

5

4

步骤3-6，当 i = 4

v0

v1

G

U

M

B

O

0

1

2

3

4

5

G

1

0

1

2

3

A

2

1

1

2

3

M

3

2

2

1

2

B

4

3

3

2

1

O

5

4

4

3

2

L

6

5

5

4

3

步骤3-6，当 i = 5

v0

v1

G

U

M

B

O

0

1

2

3

4

5

G

1

0

1

2

3

4

A

2

1

1

2

3

4

M

3

2

2

1

2

3

B

4

3

3

2

1

2

O

5

4

4

3

2

1

L

6

5

5

4

3

2

步骤7

编辑距离就是矩阵右下角的值，v1[m] == 2。由”GUMBO”变换为”GAMBOL”的过程对于我来说是很只管的，即通过将”A”替换为”U”，并在末尾追加”L”这样子(实际上替换的过程是由移除和插入两个操作组合而成的)。

我们得到最小编辑距离为2

那么它们的相似度为   (1-ld/(double)Math.max(str1.length(), str2.length()));

1 – 2/6=0.6666666666666667