最近对之前看的部分论文论文进行一些总结(大部分论文都实在实验和模型上进行改进和创新,想看理论分析的可能要失望了)。
1. A Convolutional Neural Networkfor Modelling Sentences
看的第一篇使用卷积神经网络进行文本分类的文章,主要有两点:
1. K-max pooling 在序列中取前k大的数并且保持相对位置不变
2. 卷积是对每个词向量点乘以相同维数的向量后再相加。
3. 按作者的思路,这种CNN能够比RecNN更加泛化。
4. 具体过程大致如下(说实话,其中每行的k-maxpooling有点不直观)
2. Convolutional Neural Netw