文本相似度：Multi-Modal Similarity Metric Learning for Answer Selection

文章地址：https://arxiv.org/pdf/1604.05519v1.pdf

文章标题：Multi-Modal Similarity Metric Learning for Answer Selection（答案选择的多模态相似度度量学习）2018

Abstract

近年来，基于分布式词表示的人工神经网络的研究工作极大地提高了答案选择问题的性能。然而，以往的研究大多采用深度学习的方法(如LSTM-RNN、CNN等)，主要是对每个句子单独进行语义表征，忽略了词汇层面上的相互依存关系。本文在成对令牌匹配的基础上直接构造了一个深度卷积网络，然后采用多模态相似度度量学习来丰富词汇模态匹配。该模型通过在答案选择基准(即，TREC-QA数据集)，在MAP和MRR指标。

一、Introduction

受到卷积网络的成就的启发。在计算机视觉领域，越来越多的研究者构建了各种自然语言处理任务的ConvNets，如文本分类(Kim, 2014)、文本回归(Bitvai和Cohn, 2015)、短文本对重新排序(Severyn和Moschitti, 2015)和语义匹配(Hu等，2014)。

对于答案选择任务，即，给定一个问题和一组候选句子，选择包含准确答案的正确句子，并充分支持答案的选择。以往的方法大多是通过构造Siamese-like深度结构(如LSTM-RNN、CNN等)来学习每个句子的语义表示，然后利用余弦相似度或权值矩阵来计算成对表示的相似度(Wang and Nyberg, 2015)。同时，这些作品多采用浅层架构进行句子建模，因为更深的网并没有带来更好的性能。相反，我们坚信可以从深度学习策略中获益更多。

随着基于RNN的机器翻译注意机制的成功(Bahdanau et al.， 2014)，最近有一些研究尝试了句子对匹配问题的双向注意机制(Tan et al.， 2015;桑托斯等人，2016;Yin等，2015)。这种软注意机制证明了从词汇级到语义级句子对之间相互作用的有效性，但同时也增加了计算量和模型复杂度。

前面的工作激励我们构建一个基于成对标记匹配的穷举匹配学习网络。然而，这种构成的一个重要问题是单词相似性度量。以表1中的Q和A为例，区分“begin”与“founded：set up”与“begin”与“found：discovered”之间的相似性很有意义。为了解决这一问题，我们构建了一个基于多模态相似度度量学习的成对令牌匹配的深度卷积神经网络。在回答选