ABCNN基于注意力的卷积神经网络用于句子建模--模型介绍篇

最新推荐文章于 2024-07-29 17:29:05 发布

liuchongee

最新推荐文章于 2024-07-29 17:29:05 发布

阅读量1.7w

点赞数 6

分类专栏：深度学习 nlp 卷积神经网络-CNN TensorFlow 深度学习与NLP--论文笔记和TensorFlow实现文章标签： cnn tensorflow nlp

本文链接：https://blog.csdn.net/liuchonge/article/details/69587681

版权

本文介绍了ABCNN模型，一种结合注意力机制的卷积神经网络，用于句子建模。ABCNN基于BCNN，通过在输入层、卷积层输出和池化层引入注意力机制，以增强模型的表达能力。文章详细阐述了BCNN的基本结构，以及ABCNN的三个变种：ABCNN-1在输入层添加注意力，ABCNN-2改进池化层，ABCNN-3则综合前两者。实验表明，ABCNN在多个数据集上表现出优秀的性能。

摘要由CSDN通过智能技术生成

本文是Wenpeng Yin写的论文“ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs”的阅读笔记。其实该作者之前还发过一篇“Convolution Neural Network for Paraphrase Identification”。ABCNN是基于之前发的这篇论文加入了注意力机制。说到基于注意力的CNN，我们之前介绍过一篇Multi-Perspective CNN的论文。该论文也是在别的论文的基础上加入了注意力机制，但其实Attentin机制一般用于RNN模型会有比较好的效果，CNN的话也可以用==

相比这两篇Attention-based的论文，会发现，ABCNN提出了三个层面的Attention方法，有助于更加全面的理解attention在不同层面所能带来的不同作用。下面我们就来介绍一下该论文的模型。