哈工大神经网络第二次作业

动量法

自适应梯度算法

RMSProp算法

Adam算法

性能优化问题的基本思想

一般以二次型函数为例进行优化
常用算法：牛顿法，L-M算法
卷积神经网络基础
基本概念——特征提取

填充（Padding），也就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。
多通道卷积：如RGB

2.2 基本概念——池化
思想：使用局部统计特征，如均值或最大值。解决特征过多问题

卷积神经网络结构

构成：由多个卷积层和下采样层构成，后面可连接全连接网络。
卷积层：k个滤波器
下采样层：采用mean或max

LeNet-5网络
网络结构

结构详解——C1层
6个Feature map构成
每个神经元对输入进行55卷积
每个神经元对应55+1个参数，共6个feature map，
2828个神经元，因此共有(55+1)6(2828)=122,304连接
Pooling层

结构详解——C3层
卷积层

结构详解——S4层
与S2层工作相同
结构详解——C5层
120个神经元
每个神经元同样对输入进行55卷积，与S4全连接
总连接数(5516+1)*120=48120
结构详解——F6层
84个神经元
总连接数(120+1)*84=10164
结构详解——输出层
由欧式径向基函数单元构成
每类一个单元
输出RBF单元计算输入向量和参数向量之间的欧式距离
网络结构详解

-卷积时不进行填充（padding）
-池化层选用平均池化而非最大池化
-选用Sigmoid或tanh而非ReLU作为非线性环节激活函数
-层数较浅，参数数量小（约为6万）
普遍规律
随网络深入，宽、高衰减，通道数增加
基本卷积神经网络
AlexNet

网络一共有8层可学习层——5层卷积层和3层全连接层
改进
-池化层均采用最大池化
-选用ReLU作为非线性环节激活函数
-网络规模扩大，参数数量接近6000万
-出现“多个卷积层+一个池化层”的结构
普遍规律
-随网络深入，宽、高衰减，通道数增加
VGG-16

改进
-网络规模进一步增大，参数数量约为1.38亿
-由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。
普遍规律
-随网络深入，高和宽衰减，通道数增多