今天我们来介绍一下“UMD-TTIC-UW at SemEval-2016 Task 1: Attention-Based
Multi-Perspective Convolutional Neural Networks for Textual Similarity
Measurement”这篇论文。其实本篇论文和之前所说的Multi-Perspective CNN原理是一样的。只不过做了一些小的改进。接下来,我们来讲一下。
首先看一下让他的模型架构, 其实就是在embedding层和Multi-Perspective句子建模层之间加入了一个Attention-Based输入层:
这么做的原因在于,MPCNN模型中,两个句子被相互独立的处理,直到full-connected层二者的信息才有了交互,这样会丢失很多有用的信息。而Attention-based层通过对两个句子的词嵌入矩阵进行融合,获得的新的“词向量”具有二者的信息,可以更好的表征句子的相互关系。其计算方法如下所示:
1,计算attention matrix D(m*n维矩阵,m和n分别代表sent1和sent2的长度)。
Dij代表sent1中第i个单词的词向量与sent2中第j个单词的词向量的余弦距离
2,计算每个句子的attention weight vector Ai(长度为对应句子长度)。其计算方法为:
CNN在句子相似性建模的应用续--基于attention的多角度CNN模型
最新推荐文章于 2024-06-27 14:43:15 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)