在信息论、语言学和计算机科学中,编辑距离(Edit Distance):又称Levenshtein distance是用于测量两个字符串之间差异的字符串度量。它以苏联数学家弗拉基米尔·莱文斯坦(Vladimir Levenshtein)的名字命名,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数。许可的编辑操作将一个字符替换成另一个字符,插入一个字符,删除一个字符,用数据库的说法就是改、增、删;一般来说就是字符串编辑距离离越小,两个串的相似度越大。算法广泛应用在字符串匹配、DNA分析、拼写检查、语音识别、抄袭侦测等方面。然而在实际应用中发现,编辑距离算法在源字符串与目标字符串长度差异较大的情况下表现较差,会导致对比结果出现错误。实例如下:
源字符串 | 目标字符串 | 最小编辑距离 | 相似度 |
秋水广场 | 江西省南昌市秋水广场 | 6 | 0.4 |
记南昌秋水广场之游 | 5 | 0.44 | |
广场 | 2 | 0.5 |
通常来说,编辑距离越小(字符串相似度越大),两字符串越相似,但上面实例中,广场明显和原字符串差异最大,却得到了最大的相似度。因此说明,此算法并不适用于这种长度差异较大的字符串之间的比较。在此针对字符串长度差异较大的情况,进行一定改进,基于两字符串的公共字符进行比较,从而得到不错的匹配对比效果。基本思路为:将中文源字符串和中文目标字符串去空格及特殊符号后转为单字符集,定义一个变量intersection,自定义算法计算让intersection值增加,相似度百分比值=intersection*2/unionLength(两个字符串长度和)*100。此算法的主要相关代码如下:
Python语言:
import re
def compareString(str1,str2):
hand_str1 = re.sub("[A-Za-z0-9\!\%\[\]\,\。]", "", str1)
hand_str2 = re.sub("[A-Za-z0-9\!\%\[\]\,\。]", "", str2)
union= len(hand_str1 )+len(hand_str2 )
intersection = 0
for i in hand_str1 :
for j in hand_str2 :
if(i==j):
intersection = intersection+1
print((2.0 * intersection) / union)
C#语言:
public static double compareStrings(string str1, string str2)
{
int intersection = 0;
int union = str1.Length + str2.Length;
for (int counter1 = 0; counter1 < str1.Length; counter1++)
{
for (int counter2 = 0; counter2 < str2.Length; counter2++)
{
if (str1[counter1].Equals(str2[counter2]))
{
intersection++;
str2[counter2].remove(counter2);
break;
}
}
}
double s = (2.0 * intersection) / union;
return s;
}
经实践对比,以上算法可以较好解决两字符串长度差异较大的匹配问题,与莱文斯坦算法对比结果如下:
源字符串 | 目标字符串 | 编辑距离相似度 | 改进后 |
天香园 | 【温暖迹忆】随拍---南昌 天香园 | 0.18 | 0.316 |
万寿宫 | 万寿宫赏梅感赋 | 0.429 | 0.6 |
紫阳大道 | 江西省南昌市南昌县紫阳大道99号 | 0.25 | 0.4 |
在源字符串与目标字符串长度差异较大的情况下,此方法可以得到更好的字符串对比结果,提高两字符串之间的相似度,减少出现匹配错误的情况。
个人订阅号:欢迎多多交流!