CS224N学习笔记（十一） ConvNets for NLP

最新推荐文章于 2021-02-25 16:11:52 发布

阿委困的不能行

最新推荐文章于 2021-02-25 16:11:52 发布

阅读量253

点赞数

本文链接：https://blog.csdn.net/rocking_struggling/article/details/105869287

版权

1.从RNN到CNN

RNN网络的典型缺点：

当没有前缀时，无法捕获词与信息（RNN是顺序型的，必须要通过顺序推导）
RNN的编码通常把很多词编成一个向量（这里可以用attention解决）

在使用RNN进行文本的分类是就会遇到这两个问题，所以RNN进行文本分类的效果并不是很好。

应用CNN的一些想法：需要固定每个词序列的长度，而不考虑语法或者连贯的正确性。比如，把这样一句tentative deal reached to keep government open英文拆成tentative deal reached, deal reached to, reached to keep, to keep government, keep government open。

2.1D convolution for text

对于cnn在text上的应用，大致的过程如图所示：
首先有一个文版的词向表示：
在这里插入图片描述
然后有个卷积核（size=3）,如图：

之后把卷积核在词向量上做一维卷积结果如图所示：

之后可以加多个卷积核，得到多维的数据，还可以加pading填充，使卷积的长度不变。
也可以加入池化层，比如maxpool/avergepool，如图所示：
在这里插入图片描述
或者也可以在CNN中设置stride，或者采用local max pool或者k-max-pool等等。

3.Single Layer CNN for Sentence Classification

CNN在语言方面多用于文本分类：

文本的主观倾向，积极的还是消极的
句子是主动的还是被动的，是关于什么问题的等

课程中介绍了早期CNN用于文本分类的一篇论文： Convolutional Neural Networks for Sentence Classification. EMNLP 2014.
主要思路如图：
在这里插入图片描述
（这里计算卷积ci的时候还加入了偏置）
论文中直接计算max-pool的结果：

或者可以加入多个卷积核W，然后去得到结果，如图所示：

最后把得到的特征总结起来，并做softmax处理，如图所示：

课程中又提到另外一篇文章：Zhang and Wallace
(2015) A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification。
里面的主要思路也是，采用多个卷积核对文本进行卷积处理，将的得到结果进行拼接，然后softmax。如图所示：
在这里插入图片描述
这篇文章还采用了常用的dropOut正则化和另外一种正则化的手段，如图所示：

4.Model comparison

课程举例几种常见的文本分类模型：

bag of vector: 直接对文本的词向量进行相加求和等操作。
window model:对词向输入简单的神经网络（前面课程学过）
CNNs
RNNs

Our growing toolkit

Gated units used vertically：将门单元应用于垂直结结构，如图：
左侧是残差网络（residual block），右侧在残差块的两个输出前面家里一个控制门，这两种结构都可以应用与非常深的网络的结构。
在这里插入图片描述
Batch Normalization (BatchNorm)：通常用于CNN网络中，Batch Normalization把一层输出后的分布转换为均值为0方差为1的标准正态分布。原理是使它更多的分布在导数下降最快的阶段，这样通过反向传播学习，才会取得更好的效果。
在这里插入图片描述
1*1 Convolutions：就是卷积核是1为的卷积，它的实质上就是在各个chanal之间做全连接，但是它不同与普通的全连接层需要大量的参数。也可以用它来做chanal层数量的变换，如图所示：

此外CNN还可以用于语言模型的编码，产生词向量等等操作。