深度学习（三）

本节期待目标：

清楚神经网络优化原理，掌握反向传播计算

掌握卷积神经网络卷积层的结构特点，关键参数，层间连接方式，正向反向传播

了解不同卷积神经网络功能层的作用，会进行简单的卷积神经网络结构设计

运行简单的卷积神经网络结构设计

一、链式反向梯度传导

1.链式法则的计算

2.神经网络中的链式法则

2.1计算顺序：从loss向输入传播

2.2导数存储：每一层的导数（▲y,▲x）结果进行存储，作为传播过程中的一个系数，用于下一层导数的计算

二、卷积神经网络-卷积层

1.什么是卷积层

      1.1卷积神经网络基本结构，由多个卷积核组合形成，

1.2每个卷积核同输入数据卷积运算，得到新的(feature map)特征图

2.卷积核

2.1同输入数据进行计算的二维（一维，三维）算子

2.2大小（size）由用户定义，深度-输入数据定义

2.3卷积核“矩阵值”：卷积神经网络的参数

2.4卷积核初始值随机生成（ 高斯分布），通过反向传播更新

3.卷积核-关键参数

3.1奇数偶数选择：通常选择奇数，满足对称

3.2厚度选择：厚度由输入数据决定，和输入数据相同

3.3覆盖范围：一般覆盖全部输入，特殊情况下覆盖局部区域，如人脸检测中级联对人眼检测

3.4步长：对输入特征图的扫描间隔对输出特征图的影响，将更改输出图像数据的尺寸，步长越小，细节信息越多

3.5边界扩充：在卷积过程中，为了让边界数据也能作为中心进行卷积运算，将边界延展，确保卷积后特征图输出图像与输入一致，扩充方法，卷积核宽度2i+1,添加pad宽度为i

3.6卷积核数目：常见参数64，128，256，因为运算时经常用GPU，这种分布让GPU运算更加高效

问题：与传统神经网络相比（参数/计算量）更多还是更少？

答：由于共享权值，因此参数更少了，但由于卷积运算，计算量增大了

4.卷积层->卷机网络->正向传播

5.卷积层->卷积网络->反向传播

三、卷积神经网络-功能层

1卷积神经网络需要哪些额外功能？

1.1非线性激励：卷积是线性运算，增加非线性描述能力

1.2降维：特征图稀疏，减少数据运算量，保持精度

1.3归一化：特征的scale保持一致

1.4区域分割：不同区域进行独立学习

1.5区域融合：对分开的区域合并，方便信息融合

1.6增维：增加图片生成或者探测任务中的空间信息

2.非线性激励

ReLU函数

3.池化层（平均/最大池化）

3.1数据降维，方便计算，存储

3.2赤化过程中，每张特征图单独降维

4.归一化层

4.1批量归一化

原因：特征数Scale不一致 好处：加速训练，提高精度

4.2近邻归一化

5切分层

在某些应用中，希望独立对某些区域单独进行学习

6融合层

对独立进行特征学习的分支进行融合，构建高效而精简的特征组合

6.1级联融合：对不同输入网络特征进行简单叠加

如：1x100 1-D vector +1x100 1-D vector ->1x200

100X100X3图片+100X100X1深度图->100x100x4 RGBD图像

6.2运算融合：形状相同两个特征图，通过像素级（+，-，x,max,conv）运算，形成形状相同的输出

如：微软的残差网络，输入数据复制一部分输入到网络中经过卷积池化等后再和原本的输入数据相加融合（深度残差网络实现了超多层网络情况下的梯度不消失，目前最多已经达到了1000多层）

四，卷积神经网络MNIST分类