Improved Deep Learning Baselines for Ubuntu Corpus Dialogs

摘要
这篇论文展示了在Ubuntu Dialog Corpus（现有可用的最大的多转折对话语料库）上的实验结果。首先，用之前的模型在相同数据集上做了一个评价。然后评价了不同模型：LSTMs,Bi-LSTMs以及CNNs在设个数据集上的性能。最后通过将多模型预测平均化得到一个合体，这个合体在回答排序方面提高了性能而且实现了一个最佳结果。
介绍
Ubuntu对话数据集由Ubuntu对话日志得来。虽然多个用户可以在聊天室内同时说话，但是这个数据集被启发式地处理为两个人物对话。这个语料包括100万条对话，主要是一个用户寻求解决其Ubuntu相关问题的对话，平均轮次为8轮，最小轮次为3轮。
数据以及评估方法
正样本：（context,response,1）
负样本：（context,response,0）
正负样本各一半
评估方法：recall@k
方法
点位排序（pointwise ranking）

Figure 1: Neural Network Embedding approach. A neural network is used to compute the embedding for the context and the response, denoted as c and r. These are fed through a sigmoid function to compute the pairwise probability.
用一个神经网络来计算context以及response的嵌入向量，c和r。然后利用sigmoid函数对结果进行归一化，计算点位概率。
（1）TF-IDF

（2）Neural Network Embedding

数据集的作者使用RNN以及LSTM作为生成embedding的神经网络。LSTM比RNN的效果要好。

新方法

三种不同的架构：（1）CNN （2）LSTM （3）Bi-Directional LSTM

实验环境：Glove、Theano、Blocks、Adam、Nvidia K40 GPUs、Grid search
融合模型：11LSTM、7Bi-LSTM以及10CNNs。
实验结果

CNN（400,1）（100,2）（100,3）
LSTM（200）
Bi-LSTM（250）

测试验证样本

融合模型中加入CNN，结果从66.8上升到68.3。

不同测试集大小

在数据集比较小的时候，CNN的表现要好于LSTM，可能是（1）最大池化操作避免了过拟合问题。（2）池化操作简单不用考虑复杂的依赖关系，比如说词序，LSTM要解决这些问题就需要更大的数据集。数据集如果继续增大，LSTM会获得更好的效果。

展望
（1）可以扩充信息，例如用户手册等，帮助系统选择更加正确的答案；
（2）另外一个成功的应用在于强化学习领域；
（3）将注意力机制加入到模型；
（4）其他提高准确率的方法也可以包括改进文本预处理的方法，例如，当前的数据集中的命名实体都被tags代替，在一定程度上损失了性能。