Open Question Answering with Weakly Supervised Embedding Models

基于弱监督嵌入模型的开放式问答

任务：将问句与三元组分别嵌入向量空间，之后计算其相似度并根据相似度决定那个三元组最可能是这个问句的答案

输入输出

• 输入：问句 三元组集合（q,t）
• 输出：相似性打分（回归问题），相似性最高的三元组作为问句答案

公式介绍

准备数据集

• 数据集的形式为（q,t），即问句与三元组成对出现
• 训练模型需要正例和负例，由于训练样本中的问句都是根据三元组生成的，所以样本只有正例
• 为了解决这一问题，需要将（q，t）对打乱，方法为从三元组集合中随机选择一个三元组，把相应位置的实体和关系填入（q,t）对中t的相应位置

模型训练

采用梯度下降法训练模型，逐步更新W，V，W，V的初始值为随机数，（平均值为0，标准偏差为1/k）,接着按以下步骤进行迭代

1. 从数据集D中娶一个正例（qi,ti）
2. 创建一个打乱的三元组t’并确保t’≠ti
3. 制作一个随机的梯度步长来最小化−f(qi) >g(ti)+f(qi) >g(t i )
4. 对每个嵌入向量进行正则化