相似度论文-2015-Multi-Perspective Sentence Similarity Modeling with Convolutional Neural Networks

论文核心

我们首先使用卷积神经网络对每个句子进行建模，该网络在多个层次的粒度上提取特征，并使用多种类型的集合。这个网络模型分为两部分，相似度度量（cosine distance, Euclidean distance, and element-wise difference）和句子语义表示。

深度探索了卷积神经网络在应用中的多种变体，以捕捉更为细粒度的特征，如pool方式，window size等等。

相关工作

这部分介绍了以往对于相似度度量中的特征工程部分是如何做的。
(1) 基于字符串，包括单词和字符层面的n-gram重叠特征（Wan等人，2006）和基于机器翻译评估指标的特征
（2）基于知识库，使用Wordnet等外部知识库
(3）基于句法，例如对两个句子之间的依赖性句法的分歧进行建模（Das和Smith，2009）；
（4）基于语料库，使用分布模型，如潜在语义分析来获得特征（Hassan，2011；Guo和Diab，2012）。

模型结构

第一部分：句子表征学习

1. filter的设置

两种过滤器：这些过滤器考虑了每个位置上每个单词嵌入的全部内容，我们称其为整体性过滤器
每个维度的过滤器类似于 "空间卷积 "过滤器，只是我们把每个过滤器限制在一个预先定义的单一维度上。
大致来说，第一个是以整个Word为单位做filter，第二个是以每个Word的每个维度为单位做filter。

2. pool type

定义了三种池化操作：

• max pool
• mean pool
• min pool

对于block A，采用以上三种池化类型：
{groupA(wsa, p, sent) : p ∈ {max, min, mean}}
对于block B ,采用两种池化类型：
{groupB (ws b, p, sent) : p ∈ {max, min}}

3.window size

文中设置了三种window size值，分别为1,2 和无穷。

第二部分：句子相似度衡量

很简单的计算similarity的方法，大概就是选择CLS或者把向量展平计算吧。
但是，这是很糙的做法。Flattening might discard useful compositional information for computing similarity

所以，这篇文章提出了一个问题：如何选择合适的信息用于相似度的计算？？错了，是这个：一个重要的考虑是如何确定合适的局部区域进行比较，以便我们能够最好地利用句子表征中的成分信息。
1）是否来自同一构件；2）是否来自具有相同窗口大小的卷积层；3）是否来自同一池化层；4）是否来自底层卷积层的同一滤波器

横向比较

见下图，算法在论文中。

纵向比较

在计算时，拼接了两个线性层，log-softmax用于计算最后的相似度分值。激活函数式tanh.

训练

释义识别任务，采用的hinge loss.
语义相关识别任务，采用的是正则化的KL loss

ablation study

总结

这算是特征工程的一项吧。是对CNN在句子表征中的多个实验。
除了注意力没有考虑到，差不多全了。