CNN&RNN浅谈

一.浅谈CNN和RNN
1.CNN结构
1）卷积(提取特征)：对图像元素的矩阵变换，是提取图像特征的方法，多种卷积核可以提取多种特征。一个卷积核覆盖的原始图像的范围（权值共享）。一次卷积运算(哪怕是多个卷积核)提取的特征往往是局部的，难以提取出比较全局的特征，因此需要在一层卷积基础上继续做卷积计算，这也就是多层卷积。
2）池化(降维，提取主要特征)：降维的方法，按照卷积计算得出的特征向量维度大的惊人，不但会带来非常大的计算量，而且容易出现过拟合，解决过拟合的办法就是让模型尽量“泛化”，也就是再“模糊”一点，那么一种方法就是把图像中局部区域的特征做一个平滑压缩处理，这源于局部图像一些特征的相似性(即局部相关性原理)。
3) 全连接()：连接所有的特征，将输出值送给分类器（如softmax分类器）
4)训练过程：
卷积核中的因子(×1或×0)其实就是需要学习的参数，也就是卷积核矩阵元素的值就是参数值

CNN网络中前几层的卷积层参数量占比小，计算量占比大；而后面的全连接层正好相反，大部分CNN网络都具有这个特点。因此我们在进行计算加速优化时，重点放在卷积层；进行参数优化、权值裁剪时，重点放在全连接层。

二.CNN和RNN对比
2、相同点：
2.1. 传统神经网络的扩展。
2.2. 前向计算产生结果，反向计算模型更新。
2.3. 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。

3、不同点
3.1. CNN空间扩展，神经元与特征卷积；RNN时间扩展，神经元与多个时间输出计算
3.2. RNN可以用于描述时间上连续状态的输出，有记忆功能，CNN用于静态输出
3.3. CNN高级100+深度，RNN深度有限
3.4. CNN采用固定大小的输入并生成固定大小的输出。RNN可以处理任意输入/输出长度
3.5 .CNN是图像和视频处理的理想选择。RNN是文本和语音分析的理想选择。

三.在NLP上的应用
1.总体来看情感分析任务的效果基本接近了，在句子配对上CNN占有一定的优势，而在序列化的任务上，如命名实体识别、具备上下文的问答当中RNN颇具优势
2. 模型的效果和实际的句长息息相关。在短句长的任务上，CNN由于其卷积的功能对句子的整体结构有一个总揽的能力，但在长句长时，CNN只能处理其窗口内的信息，相邻窗口的信息只能借助后一层的卷积层来达到信息的融合，这对卷积窗口和移动的步长等等参数依赖是很大的，因此CNN处理NLP任务实际上是建模容易、调参难的一个特点。而RNN则训练时间会相对长很多

四.RNN和LSTM
1.梯度消失：一句话，RNN梯度消失是因为激活函数tanh函数的倒数在0到1之间，反向传播时更新前面时刻的参数时，当参数W初始化为小于1的数，则多个(tanh函数’ * W)相乘，将导致求得的偏导极小（小于1的数连乘），从而导致梯度消失。
2.梯度爆炸：当参数初始化为足够大，使得tanh函数的倒数乘以W大于1，则将导致偏导极大（大于1的数连乘），从而导致梯度爆炸。
3.LSTM做的就是使后一个状态对前一个状态的导数要么等于0，要么等于1，按照RNN求导同样的道理，LSTM里面后一个时刻状态对前一个时刻状态的导数等于tanh的导数乘一个遗忘门的sigmoid激活函数，这个的值要么为1，要么为0，这样就解决了梯度消失和梯度爆炸的问题

五.CNN卷积层和池化层
1.每个filter的输出是各个通道的汇总；输出的个数与filter个数相同
2.每一个卷积核的每一个通道的权值是共享的
每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了
3.池化层反向传播误差
[1]最大池化层
除最大值处继承上层梯度外，其他位置置零
[2]平均池化层
我们需要把残差平均分成2*2=4份，传递到前边小区域的4个单元即可

六.CNN卷积后的输出尺寸
卷积操作存在两个问题：
1、图像越来越小；
2、图像边界信息丢失，即有些图像角落和边界的信息发挥作用较少。
因此需要padding
总结：padding = “value”，N = [(W-F+1)/S]，这里表示的是向上取整
padding = “same”，N = [W/S]，这里表示向上取整