【论文笔记】Learning to ask good questions: Ranking clarification questions using Neural Expected Value

这是ACL2018的一篇Best papers.
解决的是论坛提问中对posts的信息补全的问题
用到的数据是StackExchange的数据

场景

论坛求助中的一些posts并不完善，有些问题直接开问，并没有包含如 自己系统版本号，环境 等信息的说明，这种问题很难得到确切的回答。

作者通过NN的方法想办法去补全这些信息在问题中，应用场景可能就是，当作者要发布的时候，系统会自动提示作者需要补全哪些信息。

大致思路

作者受到 EVPI 的启发 （EVPI是衡量， 得到了信息X，会对我有多大的帮助的指标）
设计了这样一个函数：

$$EVPI(q_i|p)=\sum_{a_j\in A}P[a_j|p, q_i]U(p+a_j)$$
来衡量：
$p$ 是 post, $q_i$ 是候选集 $Q$ 中的一个问题， $a_j$是针对 $q_i$的一个回答。

$P[a_j|p, q_i]$ 是对于 $p$, $q_i$, 得到答案$a_j$的概率。

$U(p+a_j)$ 是得到 $a_j$, 对 $p$ 有效的程度

生成候选集

作者先通过Lucene（一个文本检索系统） 找到与目标post $p$ 最相近的10个 posts, 看这些posts 下面有哪些 clarifying questions (就是发布一个post之后，被问到的需要补全信息的问题，如what is the version of your os?) 组成一个问题集 $Q$
那对于一个问题, 其中有哪些是posts针对问题重新编辑了，这些编辑进去的信息也被组成一个集合 $A$, 称为答案集。

所以问题就是，一个post $p$ 对应一个问题集$Q$；
同时对于每个$q_i$, 也对应一个答案集 $A$。

以下一些数学标记，结合全文来看：
$F()$ 就是一个前馈神经网络，
$\hat{}$ 是指对text的所有词向量平均得到的向量表示；
$\bar{}$ 是对text的每个词向量输入lstm之后的隐藏状态层做平均得到的向量表示

Answer modeling

因为有候选集，所以就要衡量一下 对于$p$, $q_i$, 得到答案$a_j$的概率。

$$dist(F_{ans}(\bar{p}, \bar{q_i}), \hat{a_j})= 1-cos\_sim(F_{ans}(\bar{p}, \bar{q_i}), \hat{a_j})$$

这里用 $F_{ans}(\bar{p}, \bar{q_i})$ 来做一个 answer 的 representation 来和真实的answer做距离，这里其实我不太理解为什么这个函数能够表征一些答案的信息

这个的概率为：
$P[a_j|p, q_i] = exp(-dist(F_{ans}(\bar{p}, \bar{q_i}), \hat{a_j}))$

这里的值域也感觉有待商榷，好像不是 [0,1]

优化loss函数就是：

$$loss_{ans}(p_i, q_i, a_i, Q)=dist(F_{ans}(\bar{p_i}, \bar{q_i}), \hat{a_j})+\\\lambda\sum_{j\in Q}(dist(F_{ans}(\bar{p_i}, \bar{q_i}), \hat{a_j})*cos\_sim(\hat{q_i}, \hat{q_j}))$$

后半部分是把所有问题和当前问题$q_i$的相似度做权重考虑所有问题。

可用性计算

这里直接用这个函数来衡量：

$U(p_i + a_j) = \sigma(F_{util}(\bar{p_i}, \bar{p_j}, \bar{a_j}))$

$\sigma$ 表示概率的意思

其实这是一个有监督的二分类问题，就是： 有帮助（$y=1$)，没有帮助($y=0$) 两个类别。

所以这部分的损失函数就用交叉熵来衡量：
$loss_{util}(y_i, \bar{p_i}, \bar{q_j}, \bar{a_j}) = y_ilog(\sigma(F_{util}(\bar{p_i}, \bar{p_j}, \bar{a_j})))$

总损失函数

就是综合考虑两部分损失

$$\sum_i\sum_jloss_{ans}(\bar{p_i},\bar{q_i},\bar{a_i},Q_i) + loss_{util}(y_i, \bar{p_j}, \bar{q_j}, \bar{a_j})$$

理解

作者把问题分解为两部分，其实模型本身很简单，也没有用到复杂的NN,也只是LSTM，由于刚刚接触，对QA这类问题也没有很深的理解，只是记录一下。