Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfe

Learning to Ask Good Questions

https://github.com/raosudha89/ranking_clarification_questions 代码实现

这篇论文中，作者定义了一个新任务：对于一个可能模糊的问题，从一群候选问题中找出澄清性最强的问题（clarification questions）作为模糊问题的信息补充，从而得到更有价值的回答。作者针对这一任务设计了简单的模型，后基于Stack Exchange上爬取的数据创建了数据集，并设计了评价指标。

摘要：

提问（inquiry）是沟通的基础。除非能提出问题，机器无法有效地与人类合作。在这项工作中，我们建立了一个神经网络模型来排序澄清性问题。我们的模型受到完美信息期望值（expected value of perfect information）的启发：一个问题好不好在于其预期答案是否有用。我们使用来自StackExchange的数据来研究这个问题。StackExchange是一个丰富的在线资源，人们在上面提问一些澄清式的问题，以便更好地为原始的帖子提供帮助。我们创建一个由大约77k帖子组成的数据集，其中每个帖子包含一个问题和回答。我们在500个样本的数据集上对我们的模型进行了评估，并与人类专家的判断进行对比，证明了模型在控制基线上得到重大改进。

贡献：

1.提出了一种新的神经网络模型，用于解决基于完美信息期望值框架（x2）的排序澄清问题的任务。

2.创造了一个源自StackExchange2的新数据集，它使我们能够通过查看人们提出的问题类型（x3）来学习模型以询问澄清问题。

数据集：

采集StackExchange上的评论数据，共77,097条内容。论文作者围绕【帖子】【问题】【答案】三个内容创建了一个数据集，其中帖子都是未经编辑的原帖，问题是包含问题的评论，答案是作者对帖子的修改和他对其他留言的评论。

模型：

实验结果：

EVPI模型对于问题生成任务是一种很有前途的形式主义。为了转移到一个完整的系统，可以帮助像Terry这样的用户写出更好的帖子。具体而言：

1. 评估专家注释

在非神经基线中，我们发现袋子基线的表现略好于随机，但比其他所有模型都差，答案有助于选择正确的问题。当候选集包含与原始问题类似的问题时，可以在实际中为我们提供帮助。

2. 评估原始问题

使用答案的神经基线优于不使用答案的神经基线，EVPI模型的表现明显优于神经基础。

3. 排除原始问题

神经模型击败了非神经基线。然而，所有神经模型之间的差异在统计上是不显着的。