相似度-AAAI16-Siamese Recurrent Architectures for Learning Sentence Similarity

Siamese Recurrent Architectures for Learning Sentence Similarity

我们向LSTM提供了补充有同义词信息的词嵌入向量，LSTM使用一个固定大小的向量来编码一个句子中所表达的基本含义（不管特定的措辞/语法）。通过限制后续操作以依赖简单的曼哈顿度量，我们迫使我们的模型学到的句子表征形成一个高度结构化的空间，其几何形状反映了复杂的语义关系。

在introduction中，论文提到：一个好的模型不应受到用于表达同一观点的不同措辞/语法的影响。

相关工作

针对Sem 2014中Task 3中的句子相似性衡量的竞争性方法都利用了异质性特征（如词的重叠/相似性、否定式建模、句子/短语构成）以及外部资源（如Wordnet（Miller 1995）），并应用了各种各样的学习算法（如SVM、随机森林、k-Nearest Neighbors和模型集合）。

模型结构

使用两个LSTM结构，LSTMa LSTMb编写句子，两个LSTM 的权重是相同的。

相似度评分函数：

在相似性函数中使用2准则而不是1准则会导致整个目标函数中出现不理想的高原现象。

训练

在训练中，采用了数据增强策略，10,022个额外的训练实例是通过用Wordnet（Miller 1995）中的一个同义词来替换随机词而产生的。

MaLSTM通过g(h(a) Ta , h(b) Tb)来预测一对给定句子的关联性，我们在均方差(MSE)损失函数下使用反向传播-直通时间来训练连体网络（在将训练集的关联性标签重新缩放为lie∈[0, 1]后）。SemEval将预测的相似性与给定的人类注释的相似性在三个指标上进行评估。Pearson相关性、Spearman相关性和MSE。由于我们的相似性函数构造简单，我们模型的预测被限制为遵循exp（-x）曲线，因此不适合这些评价指标。在训练完我们的模型后，我们应用一个额外的非参数回归步骤来获得更好的校准预测结果