2019年CS224N课程笔记-Lecture 11: ConvNets for NLP

30 篇文章 8 订阅
28 篇文章 13 订阅

资源链接:https://www.bilibili.com/video/BV1r4411

想看书吗

推荐了一本书~可以自己去了解了解

正课内容

本周主要是CNN专题

从RNNs到卷积神经网络

递归神经网络不能捕获没有前缀上下文的短语
经常在最终向量中捕获太多的最后单词,如下图

例如,如上图,softmax通常只在最后一步计算

卷积网络的主要想法:
如果我们为每个可能的子序列计算一定长度的向量呢?例如:“tentative deal reached to keep government open” 计算的向量为tentative deal reached, deal reached to, reached to keep, to keep government, keep government open
不管短语是否合乎语法,在语言学上或认知上看似是合理的,然后就是如何将他们它们进行分组~(下面会讨论如何分组)

一维离散卷积一般为:

卷积可以很好的从图像中提取特征~

2维的例子:

可以自己计算一下试试~

  • 黄色的是卷积核扫描的区域,为什么有的*0有的*1,这个其实就是卷积核参数(初始是随机的,然后会训练得出的)
  • 绿色的是输入(其实就这个大矩阵)
  • 红色的是卷积后的矩阵

上述的2D卷积可能是我们在视觉中了解的~(上述其实就对图片的卷积~)

下面继续来看1D卷积,也就是人们在文本数据中使用的

卷积核是3个字*词向量长度,也就是连续3个字给卷积到一起,一个卷积核卷积后得到一个通道的数值

在图像卷积中,我们经常补0,实际上,在文本中也可以这么做,如下图:

在图像处理中也经常多个卷积核,在NLP中也可以,如下图:n卷积核卷积后会产生n个通道的卷积后向量,关注的文本潜在特征也不同

(max p其实就是最大池化,通过 max pooling over time,获得最大的激活值)

In PyTorch

batch_size= 16 
word_embed_size= 4 
seq_len= 7 
input = torch.randn(batch_size, word_embed_size, seq_len) 
conv1 = Conv1d(in_channels=word_embed_size, out_channels=3, kernel_size=3) # can add: padding=1 
hidden1 = conv1(input)
hidden2 = torch.max(hidden1, dim=2)  # max pool

也可以使用不同的步伐,stride=2,可以减少计算量~

看一下步伐=1和=2的对比,通过数据对比我们可以发现,对步伐=1的每两行做最大池化与步伐=2是等价的

上述说的每两行做一次最大池化,被称为步长为2的局部最大池化

再看一个叫k-max pooling over time的概念,直接看图就能明白(其实就间隔k取最大值)

还有一种扩张卷积(思想就是跳过某些行做卷积),如下:(使用两个步长,右下角两个是卷积核,取1,3,5与两个矩阵做卷积,得出0.3和0.0这两个数值,后面的同上)

可以在第一步的卷积中将卷积核从3改为5,即可实现这样的效果,既保证了矩阵很小,又保证了一次卷积中看到更大范围的句子(这一部分可以参考感受野的概念,简单说,之前的时候一行代表3个词,现在可以代表5个词,而且卷积后更小)

总结:

  • 在CNN中,一次能看一个句子的多少内容是很重要的概念,一定要搞懂
  • 可以使用更大的filter、扩张卷积或者增大卷积深度(层数)

用于句子分类的单层CNN

  • Yoon Kim (2014): Convolutional Neural Networks for Sentence Classification. EMNLP 2014. https://arxiv.org/pdf/1408.5882.pdf Code: https://arxiv.org/pdf/1408.5882.pdf[Theano!, etc.]
  • A variant of convolutional NNs of Collobert, Weston et al. (2011)
  • 目标:句子分类 
    • 主要是句子的积极或消极情绪
    • 其他任务 
      • 判断句子主观或客观
      • 问题分类:问题是关于什么实体的?关于人、地点、数字、……
  • 一个卷积层和池化层的简单使用
  • 词向量:
  • 句子: (向量连接)
  • 连接:  范围内的句子 (对称更常见)
  • 卷积核:  (作用范围为 h 个单词的窗口)
  • 注意,filter是向量,size 可以是2,3或4

单层CNN

  • 过滤器 W 应用于所有可能的窗口(连接向量)
  • 为CNN层计算特征(一个通道)

  • 所有可能的长度为 h 的窗口 
  • 结果是一个 feature map 

Pooling and channels

 

  • 池化:max-over-time pooling layer/最大池化
  • 想法:捕获最重要的激活(maximum over time)
  • 从feature map中 
  • 池化得到单个数字 
  • 使用多个过滤器权重 W
  • 不同窗口大小 h 是有用的
  • 由于最大池化  ,和c的长度无关

  • 所以我们可以有一些 filters 来观察 unigrams, bigrams, tri-grams, 4-grams,等等

Multi-chanenl input idea

  • 使用预先训练的单词向量初始化(word2vec或Glove)
  • 从两个副本开始
  • 只有一个副本进行了反向传播,保持其他“静态”
  • 两个通道集都在最大池化前添加到ci

Classificantion after one CNN layer

  • 首先是一个卷积,然后是一个最大池化
  • 为了获得最终的特征向量 
  • 假设我们有 m 个 filter  W
  • 使用100个大小分别为3、4、5的特征图
  • 最终是简单的 softmax layer 

用三个不同的过滤器进行特征提取,在此提取变成6个一块,最后softmax进行概率估计~秀~

具体过程如下:

  • 输入长度为 7 的一句话,每个词的维度是 5 ,即输入矩阵是 7*5
  • 使用不同的filter_size : (2,3,4),并且每个size都是用两个filter,获得两个channel的feature,即共计6个filter
  • 对每个filter的feature进行1-max pooling后,拼接得到 6 维的向量,并使用softmax后再获得二分类结果

正规化

  • 使用 Dropout : 使用概率 p (超参数)的伯努利随机变量(只有0 1并且p是为1的概率)创建mask向量 r
  • 训练过程中删除特征

  • 解释:防止互相适应(对特定特征的过度拟合)(Srivastava, Hinton, et al. 2014)
  • 在测试时不适用dropout,使用概率p缩放最终向量

  • 此外:限制每个类的权重向量的L2 Norm(softmax 权重  的每一行)不超过固定数 s (也是超参数)
  • 如果  ,则重新缩放为 
    • 这不是很常见的

(关于Dropout建议自己查阅一下,课程将的不是很细)

Kim(2014)的所有超参数

问题的比较

  • Dropout提供了2 - 4%的精度改进
  • 很多比较系统没有使用Dropout就已过时了,如果使用的话可能获得更好的效益
  • 仍然被视为一个简单架构的显著结果(比较建议所有模型使用)
  • 与我们在前几节课中描述的窗口和RNN架构的不同之处:池化、许多过滤器和dropout
  • 这些想法中有的可以被用在RNNs中

模型比较:我们成长中的工具箱

  • Bag of Vectors :对于简单的分类问题,这是一个非常好的基线。特别是如果后面有几个ReLU层(See paper: Deep Averaging Networks)
  • Window Model :对于不需要广泛上下文的问题(即适用于local问题),适合单字分类。例如POS, NER
  • CNNs :适合分类,较短的短语需要零填充,难以解释,易于在gpu上并行化
  • RNNs :从左到右的认知更加具有可信度,不适合分类(如果只使用最后一种状态),比CNNs慢得多,适合序列标记和分类以及语言模型,结合注意力机制时非常棒,RNN对序列标记和分类之类的事情有很好的效果,以及语言模型预测下一个单词,并且结合注意力机制会取得很好的效果,但是对于某个句子的整体解释,CNN做的是更好的(原因一开始也说了)

Gated units used vertically

(主要讨论了门控结构)

  • 我们在LSTMs和GRUs中看到的门/跳过是一个普遍的概念,现在在很多地方都使用这个概念(对于梯度消失很有帮助)
  • 您还可以使用垂直的门(下面两个图是它很成功的两个样例)
  • 实际上,关键的概念——用快捷连接对候选更新求和——是非常深的网络工作所需要的

(第一个比较简单,仅仅是跳转,也被称为残差块,用于剩余网络,也被称为ResNets,第二个多个T门和C门进行控制)

注:用于conv的pad,所以添加时大小是相同的

批量标准化

  • 常用于 CNNs
  • 通过将激活量缩放为零均值和单位方差,对一个mini-batch的卷积(小批量的卷积)输出进行变换 
    • 这是统计学中熟悉的 Z-transform
    • 但在每组mini-batch都会更新,所以波动的影响不大 
  • 使用BatchNorm使模型对参数初始化的敏感程度下降,因为输出是自动重新标度的 
    • 也会让学习率的调优更简单
    • 模型的训练会更加稳定
  • 可以使用PyTorch: nn.BatchNorm1d

1 x 1 Convolutions

  • 这个概念有意义吗?是的,非常有意义
  • 1x1卷积,即网络中的 Network-in-network (NiN) connections,是内核大小为1的卷积内核
  • 1x1卷积为您提供了一个跨通道的全连接的线性层
  • 它可以用于从多个通道映射到更少的通道(这一点非常重要~)
  • 1x 1卷积添加了额外的神经网络层,附加的参数很少, 
    • 与全连接(FC)层不同,全连接(FC)层添加了大量的参数

CNN应用:翻译

  • 最早成功的神经机器翻译之一
  • 使用CNN进行编码(蓝色部分),使用RNN进行解码(黄色部分)
  • Kalchbrenner和Blunsom(2013)的“递归连续翻译模型”论文,第一个神经机器翻译的论文

词性标注中字符级表示的学习

Dos Santos and Zadrozny(2014)

  • 对字符进行卷积以生成单词嵌入
  • 固定窗口的词嵌入被用于POS标签

(详细的字词模型将会在后面课程中进行介绍~)

字符感知神经语言模型

  • 基于字符的单词嵌入
  • 利用卷积、highway network和LSTM

用于文本分类的非常深的卷积网络

  • Conneau, Schwenk, Lecun, Barrault. EACL 2017.
  • 出发点:序列模型(LSTMs)在NLP中占主导地位;还有CNNs、注意力等等,但是所有的模型基本上都不是很深入——不像计算机视觉中的深度模型(因为跳跃链接的出现,导致可以更深~)
  • 当我们为NLP构建一个类似视觉的系统时会发生什么(很多视觉系统可以几百层,吓人~)
  • 从字符级开始工作

(虽然这四个人这么声称在在弄非常深的网络,但是实际上他们还是用的3层,尴尬不)

很深的一个网络:

对于图片输入,大小一般是固定的,对于文字也是一样,输入是固定长度(实际上文本不一定是固定长度的,所以多了就砍掉,少了就补0)

Convolutional block in VD-CNN

  • 每个卷积块是两个卷积层,每个卷积层后面跟着BatchNorm和一个ReLU
  • 卷积大小为3
  • pad 以保持(或在局部池化时减半)维数

大数据集样例

使用大文本分类数据集,比NLP中经常使用的小数据集大得多,如Yoon Kim(2014)的论文

以上数据均为错误率,所以越低越好,深度网络会取得更好的结果,残差层取得很好的结果,但是深度再深时并未取得效果提升
实验表明使用 MaxPooling 比 KMaxPooling 和 使用stride的卷积 的两种其他池化方法要更好
ConvNets可以帮助我们建立很好的文本分类系统

RNNs are Slow ...

RNNs是深度NLP的一个非常标准的构建块,但它们的并行性很差,因此速度很慢,解决想法:取RNNs和CNNs中最好且可并行的部分
Quasi-Recurrent Neural Networks by James Bradbury, Stephen Merity, CaimingXiong& Richard Socher. ICLR 2017(该论文研究了上述问题,解决方法如下:Quasi-Recurrent Neural Network)

Quasi-Recurrent Neural Network

努力把两个模型家族的优点结合起来~(RNN、CNN)

上图内容:时间上并行的卷积,卷积计算候选,遗忘门和输出门

跨通道并行性的逐元素的门控伪递归是在池化层中完成的

Q-RNN Experiments: 语言模型

James Bradbury,Stephen Merity,CaimingXiong,Richard Socher (ICLR 2017)

用于情绪分析的Q-RNNs

通常比LSTMs更好更快,更加的可解释,例如:

QRNN限制

对于字符级的LMs并不像LSTMs那样有效 ,建模时遇到的更长的依赖关系问题

通常需要更深入的网络来获得与LSTM一样好的性能,当它们更深入时,速度仍然更快,有效地使用深度作为真正递归的替

(下次将会讨论变压器模型)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值