比较单词相似度,必须首先切词,英文单词切词法,combine排列组合的“组合”数学算法是关键。
下面代码给出原子的一种思路:比如输入单词“spide”,输出所有可能用来和其他单词比较的原子,由于单词长度是5,匹配度小于60%的没意义,所以原子最小长度是3。
代码是从C语言算法改过来的,同样代码也可以修改成任何编程语言。
ide
pde
sde
pie
sie
spe
pid
sid
spd
spi
pide
side
spde
spie
spid
spide
这里用到了Combine 输出全部组合,Combine 5,3就是得到在5个里选3个的全部可能选法。
<SCRIPT LANGUAGE="vbScript">
str="spide"
''创建全局字典对象,用来存储所有得到的原子结果
Set dict=CreateObject("Scripting.Dictionary")
Dim a(100)
strLength=Len(str)
''原子
atomyLength=round(strLength*0.6)
For x=atomyLength To strLength
a(0)=x
''计算5选3,5选4,5选5组合
combine strLength,x
next
sub combine(m, k)
''计算组合在m里面选k个元素的全部组合情况,添加到字典对象里
i=0
j=0
For i=m To k Step -1
a(k)=i
if (k>1) then
combine i-1,k-1
else
tempStr=""
for j=1 To a(0)
tempStr=tempStr & Mid(str,a(j),1)
Next
''排除重复的,加到字典里
If Not dict. Exists(tempStr) then dict.add tempStr,Len(tempStr)
End if
next
End sub
Main()
Sub Main
''输出显示结果
For i=0 To dict.count-1
Document.write dict.keys()(i) & "<br/>"
next
End sub
</SCRIPT>