CNN与句子分类之动态池化方法DCNN--模型介绍篇

本文是针对“A Convolutional Neural Network for Modelling Sentences”论文的阅读笔记和代码实现。这片论文的主要贡献在于其提出了一种动态pooling的方法。传统卷积神经网络中所用到的pooling方法一般是max-pooling，且pooling的size是固定不变的。本文通过k-max-pooling的方法可以在高层获取句子中位置较远的词语之间的联系。其整体思路如下图所示：

下面我们介绍一下论文所提出的模型，模型主要包含了per-dim的卷积层、folding层和k-max的pooling层。per-dim卷积层和前面一篇博客中介绍的是一样的，针对embed_size的每个维度分别进行卷积。folding层就是简单的将相邻的两个dim的值进行求和，从而实现维度的降低。k-max pooling层是选出最大的k个值而不是向传统的pooling层那样仅选出最大值。其模型架构如下图所示：

卷积层

这里使用的是per-dim卷积核，其作用如上图中的红色方