[文本语义相似] 基于编辑距离相似度

文本相似在问答系统中有很重要的应用，如基于知识的问答系统（Knowledge-based QA），基于文档的问答系统（Documen-based QA），以及基于FAQ的问答系统（Community-QA）等。像 对于问题的内容，需要进行相似度匹配，从而选择出与问题最接近，同时最合理的答案。本节介绍 基于编辑距离相似度。

 

算法描述：一个句子转换为另一个句子需要的编辑次数，编辑包括删除、替换、添加，然后使用最长句子的长度归一化得相似度。

 

import Levenshtein  # 第三方库实现

def edit_sim(s1, s2):
    maxLen = max(len(s1), len(s2))
    dis = Levenshtein.distance(s1, s2)
    sim = 1 - dis * 1.0 / maxLen
    return sim

word1 = '这是什么'
word2 = '这个什么价钱'
word_sim = edit_sim( word1, word2 )