我正在比较歌曲标题,使用拉丁文(虽然不总是),但如果两首歌曲的标题看起来是相同的标题,而且没有什么共同之处,我的目标是提供一个高分的算法.
现在我已经不得不使用Lucene和一个RAMDirectory来编写这个代码(Java) – 但是使用Lucene简单地比较两个字符串太重,因此太慢了.我现在已经转移到使用https://github.com/nickmancol/simmetrics,它有许多很好的算法来比较两个字符串:
BlockDistance
ChapmanLengthDeviation
ChapmanMatchingSoundex
ChapmanMeanLength
ChapmanOrderedNameCompoundSimilarity
CosineSimilarity
DiceSimilarity
EuclideanDistance
InterfaceStringMetric
JaccardSimilarity
Jaro
JaroWinkler
Levenshtein
MatchingCoefficient
MongeElkan
NeedlemanWunch
OverlapCoefficient
QGramsDistance
SmithWaterman
SmithWatermanGotoh
SmithWatermanGotohWindowedAffine
Soundex
但是我不太熟悉这些算法,这将是一个不错的选择.
我认为Lucene以某种形式使用CosineSimilarity,所以这是我的出发点,但我认为可能会有更好的东西.
具体来说,该算法应该在短字符串上工作,并且应该理解单词的概念,即应该特别处理空格.拉丁语脚本的很好的匹配是最重要的,但是与韩文和中文这样的其他脚本的匹配也是相关的,但是由于他们处理空格的方式,我预计需要不同的算法.