CNN&RNN浅谈

一.浅谈CNN和RNN
1.CNN结构
1)卷积(提取特征):对图像元素的矩阵变换,是提取图像特征的方法,多种卷积核可以提取多种特征。一个卷积核覆盖的原始图像的范围(权值共享)。一次卷积运算(哪怕是多个卷积核)提取的特征往往是局部的,难以提取出比较全局的特征,因此需要在一层卷积基础上继续做卷积计算,这也就是多层卷积。
2)池化(降维,提取主要特征):降维的方法,按照卷积计算得出的特征向量维度大的惊人,不但会带来非常大的计算量,而且容易出现过拟合,解决过拟合的办法就是让模型尽量“泛化”,也就是再“模糊”一点,那么一种方法就是把图像中局部区域的特征做一个平滑压缩处理,这源于局部图像一些特征的相似性(即局部相关性原理)。
3) 全连接():连接所有的特征,将输出值送给分类器(如softmax分类器)
4)训练过程:
卷积核中的因子(×1或×0)其实就是需要学习的参数,也就是卷积核矩阵元素的值就是参数值

CNN网络中前几层的卷积层参数量占比小,计算量占比大;而后面的全连接层正好相反,大部分CNN网络都具有这个特点。因此我们在进行计算加速优化时,重点放在卷积层;进行参数优化、权值裁剪时,重点放在全连接层。

二.CNN和RNN对比
2、相同点:
2.1. 传统神经网络的扩展。
2.2. 前向计算产生结果,反向计算模型更新。
2.3. 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。

3、不同点
3.1. CNN空间扩展,神经元与特征卷积;RNN时间扩展,神经元与多个时间输出计算
3.2. RNN可以用于描述时间上连续状态的输出,有记忆功能,CNN用于静态输出
3.3. CNN高级100+深度,RNN深度有限
3.4. CNN采用固定大小的输入并生成固定大小的输出。RNN可以处理任意输入/输出长度
3.5 .CNN是图像和视频处理的理想选择。RNN是文本和语音分析的理想选择。

三.在NLP上的应用
1.总体来看情感分析任务的效果基本接近了,在句子配对上CNN占有一定的优势,而在序列化的任务上,如命名实体识别、具备上下文的问答当中RNN颇具优势
2. 模型的效果和实际的句长息息相关。在短句长的任务上,CNN由于其卷积的功能对句子的整体结构有一个总揽的能力,但在长句长时,CNN只能处理其窗口内的信息,相邻窗口的信息只能借助后一层的卷积层来达到信息的融合,这对卷积窗口和移动的步长等等参数依赖是很大的,因此CNN处理NLP任务实际上是建模容易、调参难的一个特点。而RNN则训练时间会相对长很多

四.RNN和LSTM
1.梯度消失:一句话,RNN梯度消失是因为激活函数tanh函数的倒数在0到1之间,反向传播时更新前面时刻的参数时,当参数W初始化为小于1的数,则多个(tanh函数’ * W)相乘,将导致求得的偏导极小(小于1的数连乘),从而导致梯度消失。
2.梯度爆炸:当参数初始化为足够大,使得tanh函数的倒数乘以W大于1,则将导致偏导极大(大于1的数连乘),从而导致梯度爆炸。
3.LSTM做的就是使后一个状态对前一个状态的导数要么等于0,要么等于1,按照RNN求导同样的道理,LSTM里面后一个时刻状态对前一个时刻状态的导数等于tanh的导数乘一个遗忘门的sigmoid激活函数,这个的值要么为1,要么为0,这样就解决了梯度消失和梯度爆炸的问题

五.CNN卷积层和池化层
1.每个filter的输出是各个通道的汇总;输出的个数与filter个数相同
2.每一个卷积核的每一个通道的权值是共享的
每个神经元只感受局部的图像区域,然后在更高层,将这些感受不同局部的神经元综合起来就可以得到全局的信息了
3.池化层反向传播误差
[1]最大池化层
除最大值处继承上层梯度外,其他位置置零
[2]平均池化层
我们需要把残差平均分成2*2=4份,传递到前边小区域的4个单元即可

六.CNN卷积后的输出尺寸
卷积操作存在两个问题:
1、图像越来越小;
2、图像边界信息丢失,即有些图像角落和边界的信息发挥作用较少。
因此需要padding
总结:padding = “value”,N = [(W-F+1)/S],这里表示的是向上取整
padding = “same”,N = [W/S],这里表示向上取整

在这里插入图片描述

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值