最近在学习自动聊天机器人相关技术时,从paper中学习到卡内基梅隆大学自动问答组设计开发的模型,也是17年自动问答领域效果最好的模型,该模型的目标判断任意两个问题是否是同一种含义。对该模型的学习简记如下:
释义识别概念
1、两个问题具有相同的语义(二分类),即如果两个问题的回答完全相同,那么这两个问题是相互释义的。
2、检验检索出来的问题是否是一个输入问题的释义。
模型架构
模型分为四部分:
编码器、注意力对齐、匹配聚合、双预测网络。
该模型利用双向递归神经网络将前提问题编码为短语向量,然后利用注意机制从候选问题中提取软对齐的对应短语嵌入。
最后的相似性得分是基于两个蕴涵方向的聚合短语比较来产生的。
模型是对称的,且参数对于两侧是共享的。即使在中等大小的数据集上也可以有效训练模型参数。
问题数学表达
假如有两个问题句子A和B,A表示为,B表示为;A问题词个数是