卷积神经网络基础补充

1.误差的计算

图1 Softmax：激活函数

图2

Cross Entropy Loss 交叉熵损失

图3

如图2，损失函数 Loss = - (o₁^* log(o₁) + o₂ ^*log(o₂) )

2.误差的反向传播

3.权重的更新

w₁₁⁽²⁾(new)= w₁₁²(old) - learning_rate * gradient
其中gradient = ∂Loss/∂w₁₁²

  为了使网络更快的收敛，我们可使用优化器Optimazer，常见的优化器有SGD（上述的分批次训练）、SGD+Momentum、Adagrad、RMSProp、Adam

1.SGD优化器(Stochastic Gradient Descent)

2.SGD+Momentum优化器

3.Adagrad优化器（自适应学习率）

4.RMSProp优化器(自适应学习率)

5.Adam优化器(自适应学习率)