TextCNN模型详解

最新推荐文章于 2024-09-12 10:37:07 发布

lzk_nus

最新推荐文章于 2024-09-12 10:37:07 发布

阅读量2.9k

点赞数

分类专栏： Deep Learning NLP 文章标签： cnn 深度学习神经网络

本文链接：https://blog.csdn.net/qq_42791848/article/details/122375046

版权

Deep Learning 同时被 2 个专栏收录

43 篇文章 4 订阅

订阅专栏

NLP

37 篇文章 6 订阅

订阅专栏

Text CNN

Overview

本节我们来重点介绍一下卷积神经网络在文本分类问题当中的应用。CNN网络在图像领域已经占据了主导地位，在文本领域也有不错的表现。在 "Convolutional Neural Network for Sentence Classification" 一文中，作者使用了CNN进行文本分类任务，取得了非常不错的效果

在这里插入图片描述

事实上在很多情况下，Multi-Window-Size的CNN正确率和LSTM相差无几，下面我们来看一看模型的结构。

Model Structure

我们知道在CV领域中，CNN是使用卷积核在不同的channel上进行特征提取，每一个卷积核都会提取出一张feature map，然后我们再去做pooling。那么在文本分类的时候，我们显然是没有 $R G B$ 三个channel的。通常情况下，我们会将原始文本经过处理转变成一个shape为 $batch, \ seq\_len, \ embedding\_dim]$ 的矩阵，这里类比图像， $seq\_len$ 可以认为是 $h e i g h t$ ， $embedding\_dim$ 可以认为是 $w i d t h$ 。那么显然如果我们想要使用二维卷积，我们的shape是少了一个channel维度的

在这里插入图片描述

但是再转念一想，这不就是一张黑白图像么！我们就把这个矩阵当作是一个 $c h a n n e l = 1$ 的图像，然后再应用卷积，不就大功告成了。因此，我们每次使用一个 $kernel\_size$ 为 $window\_size, embedding\_dim]$ 的卷积核来进行文本特征提取，这里：

window_size表示每次我们希望看到几个单词(我们默认使用token level)，window_size的选取也很重要，因为选小了，我们可能会捕捉不到上下文信息；选的太大，可能会导致计算资源的浪费或者模型准确率的下降
embedding_dim就是词向量的维度，这里我们不难发现，卷积核的kernel_size是一个矩形。文本比较特殊的是，每一个token是用一个向量进行表示，因此如果我们的卷积核每次不能覆盖一个完整的单词，那么就会丢失掉很多的信息。这一点与图像不一样，因为图像的每个像素点就是一个scalar，我们不会把像素点再用一个向量进行表示。

Multi Window Size

上面我们提到卷积核的window_size对模型的表现能力会产生很大影响，那么我们自然会想到使用多种大小的window_size，这样不就能取长补短了么？因此我们使用多组卷积核，每组卷积核的window_size互不相同，然后就得到了多张feature map。接着我们将所有的feature map进行一个concatenation，再丢进池化层

(当然也可以先对每张feature map进行池化，再concatenation，效果一样)，得到一个shape为 $batch,out\_channel*n]$ 的特征矩阵，再经过一个linear transformation，最后就得到了我们的输出。

在这里插入图片描述

值得一提的是，原论文采用的window_size是 $[3, 4, 5]$

Static vs Non-Static

论文中还提出了许多提升模型效果的方法，其中一个就是Non-Static CNN。Static CNN就是我们使用了静态的词向量，如最经典的word2vec，直接将与训练好的词向量复制到我们的Embedding Layer中，不随卷积层一起训练。那么Non-Static CNN就是在训练过程中同时训练更新词向量，根据不同的任务做一下fine tuning，作者发现Non-Static CNN效果要优于Static CNN。

现Non-Static CNN效果要优于Static CNN。