采用迭代的算法来训练整个网络,随机设置网络参数的初始值(一般设置为0),将网络实际输出与期望输出的差值作为错误信号,通过梯度下降法反向传播到前层网络来更新权重和偏置,来更好的提取对象的特征。
1、Batch normalization 用于优化网络模型结构,对网络中每一层的神经元输入,计算均值和方差后,再进行归一化;
2、stride 卷积核滑动步长,如果每次滑动为1 ,感知域将会有很多重叠,最后得到的特征图也会比较大;
3、zero-padding 零填充,在进行反向传播更新权重和偏置时,可能需要对特征图进行0填充,这样可以控制输出量的空间大小和输入量的空间大小一致;
4、激活函数 RELU 层是激活函数层,可以增加决策函数核整个网络的非线性特征,却不影响卷积层的接受域,除此之外激活函数还有 sigmoid 和 tanh,但是我们一般选用 relu 作为激活函数,它不仅可以提高神经网络的训练速率,还不会对泛化精度产生显著差异。