作者:李瑾
单位:燕山大学
论文地址:https://www.aclweb.org/anthology/D17-1131.pdf
代码地址:https://github.com/jiez-osu/answer-triggering
目录
- 研究背景
- 研究方法
2.1 模型框架
2.2 组级目标函数 - 实验与评估
3.1 数据集
3.2 实验结果 - 总结
1. 研究背景
在现实生活和实际的问答中,并不是所有的问题都存在有效的可以充分支持所提出的问题的候选答案,因此在2015年WiKiQA数据集发布的同时首次提出了答案触发这一任务。
答案触发任务可以划分为两个子任务:一是构建模型对候选答案排序,使得正确答案获得最高的分数;二是对候选答案中是否存在正确答案作出预测。
先前工作通过pipline的方法来解决这一问题,但得到的模型并不能令人满意,F1值仅仅在32%到36%之间。本文提出了端到端的深度应答触发框架。
2. 研究方法
本文提出了使用端到端的深度模型框架并提出了新的目标函数惩罚答案触发中存在
2.1 模型框架
模型由三个部分组成:编码层、问答匹配层和最大池化层。
其中:
- 编码层可以根据所要达成的目标使用不同的网络框架
- 问答匹配层将问题与候选答案拼接喂入前向神经网络
- 在max pooling 层作者将同一答案的候选集中预测标签为正和负的答案划分为互不相交的两个子集
2.2 组级目标函数
作者提出了新的目标函数惩罚机制来促使模型作出正确的选择。
- 对于每个预测标签为负的样本集,最高分数的错误答案将受到铰链惩罚(hinge loss)。公式如下:
O 1 = 1 N n e g ∑ i : l i = 0 m a x ( 0 , d − − ( 0.5 − m i − ) ) O_{1}=\frac{1}{N_{neg}}\sum_{i:l_{i}=0}^{}max(0,d^{-}-(0.5 - m_{i}^{-})) O1=Nneg1i:li=0∑m