【傻瓜攻略】深度学习之反向传播（十二）

终于到了反向传播了……写完这个，整体的神经网络差不多就该结束了……✿✿ヽ(°▽°)ノ✿

下面开始：

1.1反向传播的直观理解

反向传播的土味解释就是，将误差一点一点往前向进行传播，从而达到更新权重矩阵的目的。权重矩阵的更新主要就是误差来决定。这里的误差指的是损失函数的值。

偷一张神经网络的图：

以及单个神经元的图：

其反向传播过程为：

至此逐步向前传播误差，对于权重矩阵进行更新即可。整个过程就是反向传播过程。

2.2 反向传播的总结

根据不同的激活函数，不同的损失函数，误差传播的公式不同。但整体推导过程大致就是对于更新权重矩阵和偏置矩阵。

其误差总量也分为在线学习和离线学习的不同种。

总体的神经网络可以是多变的。具体反向传播的过程还需要具体分析。