TextCNN介绍

TextCNN是用来做文本分类的卷积神经网络,由于其结构简单,效果好,在文本分类、推荐等NLP领域应用广泛。

TextCNN结构

TextCNN的结构比较简单,输入数据首先通过一个embedding layer,得到输入语句的embedding 的表示,然后通过一个convolution layer,提取语句的特征,最后通过一个fully connected layer得到最终的输出,整个模型的结构如下图:
在这里插入图片描述
上图是论文中给出的视力图,下面分别介绍每一层。

  • embedding layer: 嵌入层,这一层的主要作用是将输入的自然语言编码成distributed representation,具体的实现方法可以参考word2vec相关论文,这里不再赘述。可以使用预训练好的词向量,也可以直接在训练textcnn的过程中训练出一套词向量,不过前者比或者快100倍不止。如果使用预训练好的词向量,又分为static方法和no-static方法,前者是指在训练textcnn过程中不再调节词向量的参数,后者在训练过程中调节词向量的参数,所以,后者的结果比前者要好。更为一般的做法是:不要在每一个batch中都调节embedding层,而是每100个batch调节一次,这样可以减少训练的时间,又可以微调词向量。
  • convolution layer:这一层主要是通过卷积,提取不同的n-gram特征。输入的语句或者文本,通过embedding layer 后,会转变成一个二维矩阵,假设文本的长度为|T|,词向量的大小为|d|,则该二维矩阵的大小为|T|X|d|,接下来的卷积工作就是对这一个|T|X|d|的二维矩阵进行的。卷积核的大小一般设定为
    n × ∣ d ∣ n \times |d| n×d
    n是卷积核的长度,|d|是卷积核的宽度,这个宽度和词向量的维度是相同的,也就是卷积只是沿着文本序列进行的,n可以有多种选择,比如2、3、4、5等。对于一个|T|X|d|的文本,如果选择卷积核kernel的大小为2X|d|,则卷积后得到的结果是|T-2+1|X1的一个向量。在TextCNN网络中,需要同时使用多个不同类型的kernel,同时每个size的kernel又可以有多个。如果我们使用的kernel size大小为2、3、4、5X|d|,每个种类的size又有128个kernel,则卷积网络一共有4X128个kernel,则卷积网络一共有4 X128个卷积核。
  • max-pooling layer:最大池化层,对卷积后得到的若干一维向量取最大值,然后拼接在一块,作为本层的输出值。如果卷积核的size=2,3,4,5,每个size有128个kernel,则经过卷积层后会得到4X128个一维的向量(注意这4X128个一维向量的大小不同,但是不妨碍取最大值),再经过max-pooling之后,会得到4X128个scalar值,拼接在一块,得到最终的结构512X1的向量。max-pooling层的意义在于对卷积提取的n-gram特征,提取激活程度最大的特征。
  • fully-connected layer:这一层没有特别的地方,将max-pooling layer后再拼接一层,作为输出结果。实际中为了提高网络的学习能力,可以拼接多个全连接层。
  • 1
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值