计算字符串相似度

编程之美3.3

看完题后，毫无头绪

书上的解题思路很好，首先两个字符串的距离肯定是个可知数，必须小于两字符串之和。

可以通过删除操作将两个串都变成空串。

书上所示的递归方法，代码敲出来了，有点点不同

 

view plain copy to clipboard print ?

1. #include <stdlib.h>  
2. #include <stdio.h>  
3. #include <string.h>  
4.   
5. void calDistance(char *a, int aBegin, int aEnd, char * b, int bBegin, int bEnd, int& dis);  
6. int min(int a, int b, int c);  
7.   
8. int main()  
9. {  
10.     char a[50];  
11.     char b[50];  
12.     int dis = 0;  
13.     printf("First String :/n");  
14.     scanf("%s", a);  
15.     printf("Second String : /n");  
16.     scanf("%s", b);  
17.     int aLen = strlen(a);  
18.     int bLen = strlen(b);  
19.     calDistance(a,0,aLen-1, b, 0, bLen-1, dis);  
20.     printf("The two string distance is :%d/n", dis);  
21.     return 0;  
22. }  
23.   
24. int min(int a, int b, int c)  
25. {  
26.     if(a < b && a < c)  
27.         return a;  
28.     if(b <a && b < c)  
29.         return b;  
30.     return c;  
31. }  
32.   
33. void calDistance(char *a, int aBegin, int aEnd, char * b, int bBegin, int bEnd, int& dis)  
34. {  
35.     if(aBegin > aEnd)  
36.     {  
37.         if(bBegin > bEnd)  
38.             return ;  
39.         else  
40.         {  
41.             dis = dis + bEnd - bBegin + 1;  
42.             return ;  
43.         }  
44.     }  
45.     else if(bBegin > bEnd)  
46.     {  
47.         dis = dis + aEnd - aBegin + 1;  
48.         return ;  
49.     }  
50.   
51.     if(a[aBegin] == b[bBegin])  
52.         calDistance(a, aBegin + 1, aEnd, b, bBegin + 1, bEnd, dis);  
53.     else  
54.     {  
55.         int num1, num2, num3;  
56.         num1 = num2 = num3 = dis + 1;  
57.         calDistance(a, aBegin + 1, aEnd, b, bBegin, bEnd, num1); //给b[bBegin]前加a[aBegin]  
58.         calDistance(a, aBegin, aEnd, b, bBegin + 1, bEnd, num2); //给a[aBegin]前加b[bBegin]  
59.         calDistance(a, aBegin + 1, aEnd, b, bBegin + 1, bEnd, num3); //将a[aBegin]置换为b[bBegin]，或者将b[bBegin]置换为a[aBegin]  
60.         dis = min(num1, num2, num3);  
61.     }  
62. }  

 

因为上述的代码存在重复子问题，可以优化，利用将子问题计算后的结构暂存，再次调用时可以直接查结果。

涉及到重复子问题，联想到动态规划的备忘录...具体实现，嗯，需要参考资料了...

参考文章:

http://tech.ddvip.com/2009-05/1243159182120785_3.html

先转DP解法代码

动态规划算法总是充分利用重叠子问题，即通过每个子问题只解一次，把解保存在一个需要时就可以查看的表中，而每次查表的时间为常数。

动态规划算法是有底向上的。

 

view plain copy to clipboard print ?

1. /* 
2. * A loop method using dynamic programming. 
3. * Calculate from bottom to top. 
4. */  
5. int calculateStringDistance(string strA, string strB)  
6. {  
7. 　　　　 int lenA = (int)strA.length();  
8. 　　　　 int lenB = (int)strB.length();  
9. 　　　　 int c[lenA+1][lenB+1]; // Record the distance of all begin points of each string  
10.    
11.   　　　 // i: begin point of strA  
12. 　　　　 // j: begin point of strB  
13. 　　　　 for(int i = 0; i < lenA; i++) c[i][lenB] = lenA - i;  
14. 　　　　 for(int j = 0; j < lenB; j++) c[lenA][j] = lenB - j;  
15. 　　　　 c[lenA][lenB] = 0;  
16.    
17. 　　　　 for(int i = lenA-1; i >= 0; i--)  
18. 　　　　　　　　 for(int j = lenB-1; j >= 0; j--)  
19. 　　　　　　　　 {  
20. 　　　　　　　　　　　　 if(strB[j] == strA[i])  
21. 　　　　　　　　　　　　　　　　 c[i][j] = c[i+1][j+1];  
22. 　　　　　　　　　　　　 else  
23. 　　　　　　　　　　　　　　　　 c[i][j] = minValue(c[i][j+1], c[i+1][j], c[i+1][j+1]) + 1;  
24. 　　　　　　　　 }  
25.    
26. 　　　　 return c[0][0];  
27. }  

 

再转备忘录做法：

备忘录是动态规划的一种变形，它既具有通常的动态规划方法的效率，又采用了一种自顶向下的策略。

加了备忘的递归算法为每一个子问题的解在表中记录一个表项。开始时，每个表项最初都包含一个特殊的值，以表示该表项有待填入。当在递归算法的执行中第一次遇到一个子问题时，就计算它的解并填入表中。以后每次遇到该子问题时，只要查看并返回先前填入的值即可。

下面是原文递归算法的做备忘录版本，并通过布尔变量memoize来控制是否使用备忘录，以及布尔变量debug来控制是否打印调用过程。有兴趣的读都可以通过这两个布尔变量的控制来对比一下备忘录版本与非备忘录版本的复杂度。

 

view plain copy to clipboard print ?

1. #include <iostream>  
2. #define M 100  
3.   
4. using namespace std;  
5.    
6. const bool debug = false; // Whether to print debug info  
7. const bool memoize = true; // Whether to use memoization  
8. unsigned int cnt = 0; // Line number for the debug info  
9.   
10. int memoizedDistance[M][M]; // Matrix for memoiztion  
11. int minValue(int a, int b, int c)  
12. {  
13. 　　　　 if(a < b && a < c) return a;  
14. 　　　　 else if(b < a && b < c) return b;  
15. 　　　　 else return c;  
16. }  
17.    
18. /* 
19. 　 * A recursive method which can be decorated by memoization. 
20. 　 * Calculate from top to bottom. 
21. 　 */  
22. int calculateStringDistance(string strA, int pABegin, int pAEnd, string strB, int pBBegin, int pBEnd)  
23. {  
24. 　　　　 if(memoize && memoizedDistance[pABegin][pBBegin] >= 0)  
25. 　　　　　　　　 return memoizedDistance[pABegin][pBBegin];  
26.    
27. 　　　　 if(pABegin > pAEnd)  
28. 　　　　 {  
29. 　　　　　　　　 if(pBBegin > pBEnd)  
30. 　　　　　　　　 {  
31. 　　　　　　　　　　　　 if(memoize)  
32. 　　　　　　　　　　　　　　　　 memoizedDistance[pABegin][pBBegin] = 0;  
33. 　　　　　　　　　　　　 if(debug)  
34. 　　　　　　　　　　　　　　　　 cout << cnt++ << ": m(" << pABegin << "," << pBBegin << ")=0" << endl;  
35. 　　　　　　　　　　　　 return 0;  
36. 　　　　　　　　 }  
37. 　　　　　　　　 else  
38. 　　　　　　　　 {  
39. 　　　　　　　　　　　　 int temp = pBEnd - pBBegin + 1;  
40. 　　　　　　　　　　　　 if(memoize)  
41. 　　　　　　　　　　　　　　　　 memoizedDistance[pABegin][pBBegin] = temp;  
42. 　　　　　　　　　　　　 if(debug)  
43. 　　　　　　　　　　　　　　　　 cout << cnt++ << ": m(" << pABegin << "," << pBBegin << ")=" << temp << endl;  
44. 　　　　　　　　　　　　 return temp;  
45. 　　　　　　　　 }  
46. 　　　　 }  
47.    
48. 　　　　 if(pBBegin > pBEnd)  
49. 　　　　 {  
50. 　　　　　　　　 if(pABegin > pAEnd)  
51. 　　　　　　　　 {  
52. 　　　　　　　　　　　　 if(memoize)  
53. 　　　　　　　　　　　　　　　　 memoizedDistance[pABegin][pBBegin] = 0;  
54. 　　　　　　　　　　　　 if(debug)  
55. 　　　　　　　　　　　　　　　　 cout << cnt++ << ": m(" << pABegin << "," << pBBegin << ")=0" << endl;  
56. 　　　　　　　　　　　　 return 0;  
57. 　　　　　　　　 }  
58. 　　　　　　　　 else  
59. 　　　　　　　　 {  
60. 　　　　　　　　　　　　 int temp = pAEnd - pABegin + 1;  
61. 　　　　　　　　　　　　 if(memoize)  
62. 　　　　　　　　　　　　　　　　 memoizedDistance[pABegin][pBBegin] = temp;  
63. 　　　　　　　　　　　　 if(debug)  
64. 　　　　　　　　　　　　　　　　 cout << cnt++ << ": m(" << pABegin << "," << pBBegin << ")=" << temp << endl;  
65. 　　　　　　　　　　　　 return temp;  
66. 　　　　　　　　 }  
67. 　　　　 }  
68.    
69. 　　　　 if(strA[pABegin] == strB[pBBegin])  
70. 　　　　 {  
71. 　　　　　　　　 int temp = calculateStringDistance(strA, pABegin+1, pAEnd, strB, pBBegin+1, pBEnd);  
72. 　　　　　　　　 if(memoize)  
73. 　　　　　　　　　　　　 memoizedDistance[pABegin][pBBegin] = temp;  
74. 　　　　　　　　　 if(debug)  
75. 　　　　　　　　　　　　 cout << cnt++ << ": m(" << pABegin << "," << pBBegin << ")=" << temp << endl;  
76. 　　　　　　　　 return temp;  
77. 　　　　 }  
78. 　　　　 else  
79. 　　　　 {  
80. 　　　　　　　　 int t1 = calculateStringDistance(strA, pABegin, pAEnd, strB, pBBegin+1, pBEnd);  
81. 　　　　　　　　 int t2 = calculateStringDistance(strA, pABegin+1, pAEnd, strB, pBBegin, pBEnd);  
82. 　　　　　　　　 int t3 = calculateStringDistance(strA, pABegin+1, pAEnd, strB, pBBegin+1, pBEnd);  
83. 　　　　　　　　 int temp = minValue(t1, t2, t3) + 1;  
84. 　　　　　　　　 if(memoize)  
85. 　　　　　　　　　　　　 memoizedDistance[pABegin][pBBegin] = temp;  
86. 　　　　　　　　 if(debug)  
87. 　　　　　　　　　　　　 cout << cnt++ << ": m(" << pABegin << "," << pBBegin << ")=" << temp << endl;  
88. 　　　　　　　　 return temp;  
89. 　　　　 }  
90. }  
91.   
92. int main()  
93. {  
94. 　　　　 if(memoize)  
95. 　　　　 {  
96. 　　　　　　　　 // initialize the matrix : memoizedDistance[][]  
97. 　　　　　　　　 for(int i = 0; i < M; i++)  
98. 　　　　　　　　　　　　 for(int j = 0; j < M; j++)  
99. 　　　　　　　　　　　　　　　　 memoizedDistance[i][j] = -1; // -1 means unfilled cell yet  
100. 　　　　 }  
101.    
102. 　　　　 string strA = "abcdfef";  
103. 　　　　 string strB = "a";  
104.    
105. 　　　　 cout << endl << "Similarity = "  
106. 　　　　　　　　　　　　 << 1.0 / (1 + calculateStringDistance(strA, 0, (int)strA.length()-1, strB, 0, (int)strB.length()-1))  
107. 　　　　　　　　　　　　 << endl;  
108.    
109. 　　　　 return 0;  
110.  }  

 

总结 ：

可以计算出，如果不用动态规划或是做备忘录，最坏情况下复杂度约为：lenA！*lenB！。使用动态规划的复杂度为O(（lenA+1）*（lenB+1）)。递归并做备忘录的方法最坏情况下复杂度为O(（lenA+1）*（lenB+1）)。

在实际应用中，如果所有的子问题都至少要被计算一次，则一个自底向上的动态规划算法通常要比一个自顶向下的做备忘录算法好出一个常数因子，因为前者无需递归的代价，而且维护表格的开销也小些。

此外，在有些问题中，还可以用动态规划算法中的表存取模式来进一步减少时间或空间上的需求。或者，如果子问题空间中的某些子问题根本没有必要求解，做备忘录方法有着只解那些肯定要求解的子问题的优点，对于本问题就是这样。

http://blog.csdn.net/jeiwt/archive/2009/12/10/4981876.aspx

--------------------------------------------------------------------------------------------------------

两字符串相似度计算方法有好多，现对基于编距的算法的相似度计算自己总结下。

    简单介绍下Levenshtein Distance(LD)：LD 可能衡量两字符串的相似性。它们的距离就是一个字符串转换成那一个字符串过程中的添加、删除、修改数值。

    举例：

• 如果str1="test"，str2="test"，那么LD(str1,str2) = 0。没有经过转换。
• 如果str1="test"，str2="tent"，那么LD(str1,str2) = 1。str1的"s"转换"n"，转换了一个字符，所以是1。

如果它们的距离越大，说明它们越是不同。

     Levenshtein distance最先是由俄国科学家Vladimir Levenshtein在1965年发明，用他的名字命名。不会拼读，可以叫它edit distance（编辑距离）。

    Levenshtein distance可以用来：

• Spell checking(拼写检查)
• Speech recognition(语句识别)
• DNA analysis(DNA分析)
• Plagiarism detection(抄袭检测)

LD用m*n的矩阵存储距离值。算法大概过程：

1. str1或str2的长度为0返回另一个字符串的长度。
2. 初始化(n+1)*(m+1)的矩阵d，并让第一行和列的值从0开始增长。
3. 扫描两字符串（n*m级的），如果：str1[i] == str2[j]，用temp记录它，为0。否则temp记为1。然后在矩阵d[i][j]赋于d[i-1][j]+1 、d[i][j-1]+1、d[i-1][j-1]+temp三者的最小值。
4. 扫描完后，返回矩阵的最后一个值即d[n][m]

最后返回的是它们的距离。怎么根据这个距离求出相似度呢？因为它们的最大距离就是两字符串长度的最大值。对字符串不是很敏感。现我把相似度计算公式定为1-它们的距离/字符串长度最大值。

    源码：

package    com.chenlb.algorithm;

/**  
 * 编辑距离的两字符串相似度
 * 
 *    @author    chenlb 2008-6-24 下午06:41:55
    */  
public       class    Similarity {

       private       int    min(   int    one,    int    two,    int    three) {
           int    min    =    one;
           if   (two    <    min) {
            min    =    two;
        }
           if   (three    <    min) {
            min    =    three;
        }
           return    min;
    }
    
       public       int    ld(String str1, String str2) {
           int    d[][];       //   矩阵  
           int    n    =    str1.length();
           int    m    =    str2.length();
           int    i;       //   遍历str1的  
           int    j;       //   遍历str2的  
           char    ch1;       //   str1的  
           char    ch2;       //   str2的  
           int    temp;       //   记录相同字符,在某个矩阵位置值的增量,不是0就是1  
           if   (n    ==       0   ) {
               return    m;
        }
           if   (m    ==       0   ) {
               return    n;
        }
        d    =       new       int   [n   +   1   ][m   +   1   ];
           for   (i   =   0   ; i   <=   n; i   ++   ) {       //   初始化第一列  
            d[i][   0   ]    =    i;
        }
           for   (j   =   0   ; j   <=   m; j   ++   ) {       //   初始化第一行  
            d[   0   ][j]    =    j;
        }
           for   (i   =   1   ; i   <=   n; i   ++   ) {       //   遍历str1  
            ch1    =    str1.charAt(i   -   1   );
               //   去匹配str2  
               for   (j   =   1   ; j   <=   m; j   ++   ) {
                ch2    =    str2.charAt(j   -   1   );
                   if   (ch1    ==    ch2) {
                    temp    =       0   ;
                }    else    {
                    temp    =       1   ;
                }
                   //   左边+1,上边+1, 左上角+temp取最小  
                d[i][j]    =    min(d[i   -   1   ][j]   +   1   , d[i][j   -   1   ]   +   1   , d[i   -   1   ][j   -   1   ]   +   temp);
            }
        }
           return    d[n][m];
    }
    
       public       double    sim(String str1, String str2) {
           int    ld    =    ld(str1, str2);
           return       1       -    (   double   ) ld    /    Math.max(str1.length(), str2.length()); 
    }
    
       public       static       void    main(String[] args) {
        Similarity s    =       new    Similarity();
        String str1    =       "   chenlb.blogjava.net   "   ;
        String str2    =       "   chenlb.javaeye.com   "   ;
        System.out.println(   "   ld=   "   +   s.ld(str1, str2));
        System.out.println(   "   sim=   "   +   s.sim(str1, str2));
    }
}

不知sim方法中的公式是合理，个人认为差强人意思，^_^

 

 

 

 

http://blog.csdn.net/lkf0217/archive/2009/08/20/4466952.aspx