关于用深度学习做answer selection的论文

最近做question-answering系统，看了几篇相关的论文，涉及到用CNN、LSTM、RNN、Attention等算法，这里做个记录。
1 Attention-Based Convolutional Neural Network for Modeling Sentence Pairs (IBM)
提出了四种基于CNN的模型，用余弦相似度来表示两个句子的相似性。
文章采取了w-average-pooling，所以不需要对长短不一的句子补齐，假设两个句子的长度分别是５、７，embedding　size是300，filter size是 3
a) CNN without attention模型
一层CNN模型如下
s0 input words embedding (5×300) –> wide convolution(７×300) –> w-average-pooling (5×300) –>
s1 input words embedding (7×300) –> wide convolution(9×300) –> w-average-pooling (7×300)
由于卷积之后，特征向量的维度不变，因此可以将多层这样的CNN堆叠。最后一层用all-average-pooling，得到句子特征向量，计算它们的cosine　相似度。
b) ABCNN-1　with attention
input embeddings convolution后得到representation　feature map，计算两个句子的每两个字之间关联程度，得到5*7的attention matrix，关联程度用Euclidean distance（|x-y|)）的变式1/(1＋|x-y|)。