1. 卷积神经网络

卷积神经网络

1.卷积层

卷积核的channel与输入特征层的channel相同
输出的特征矩阵channel与卷积核的个数相同

在卷积操作过程中，矩阵经卷积操作后的尺寸由以下几个因素决定：
① 输入图片大小W×W
② Filter大小F×F
③ 步长S
④ Padding的像素数P
经卷积后的矩阵尺寸大小计算公式为：N=(W-F+2P)/S+1

2.激活函数

激活函数：引入非线性因素，使其具备解决非线性问题的能力。

Sigmoid激活函数饱和时梯度值非常小，故网络层数较深时容易出现梯度消失。

ReLU缺点在于当反向传播过程中有一个非常大的梯度经过时，反向传播更新后可能导致权重分布中心小于零，导致该处的到处始终为0，反向传播无法更新权重，即进入失活状态。

3.池化层

目的：对特征图进行稀疏处理，减少数据运算量

Maxpooling下采样：

Avgpooling下采样：

池化层特点：
①没有训练参数
②只改变特征矩阵的w和h，不改变channel
③一般poolsize和stride相同

4.优化器

目的：使网络收敛更快

5.损失函数