利用深度学习构建社区问答系统的相似问题对匹配的问题定义为:
假设我们已经有了问答库:
其中,Qi是问答社区中的历史问题,Ai是Qi问题的精华答案;
现有社区用户提出的新问题:Qnew
我们需要学习映射函数:
即对于新问题Qnew,我们希望通过学习系统找到社区中已经出现过的语义相同问题Qi,然后将对应的答案Ai推荐给用户。这样就达到了社区信息复用的目的。这个问题其实对于问答社区比如百度知道、知乎等都是存在的,解决问题的思路也完全可以复用到此类问答社区中。
这里其实就是找相似问题对,在NLP中有一个task叫做Paraphrase,这里是Sentence Paraphrase,即找到两个语义等价的句子对。
关于句子对匹配模型,其实在我的上一篇文章: