李宏毅深度学习笔记（二）——后向传播（Backpropagation）

最新推荐文章于 2024-07-25 12:58:40 发布

好想学会深度学习啊

最新推荐文章于 2024-07-25 12:58:40 发布

阅读量475

点赞数

文章标签：深度学习机器学习

本文链接：https://blog.csdn.net/qq_51026159/article/details/119061359

版权

Backpropagation解决的是在神经网络中如何有效率的进行Gradient Descent算法的问题。更具体地说，假设将Loss Function记为 $\L(\theta)$ ，其中 $\theta$ 为一个向量，表示所有的参数，那么 $L(\theta)$ 的梯度表示为

$\nabla L(\theta)=\begin{bmatrix} \frac{\partial L(\theta)}{\partial w_{1}}\\ \frac{\partial L(\theta)}{\partial w_{2}}\\ ...\\ \frac{\partial L(\theta)}{\partial b_{1}}\\ \frac{\partial L(\theta)}{\partial b_{2}}\\ ...\\ \end{bmatrix}$

Backpropagation就是快速计算 $\nabla L$ 的一种方法。

定义函数 $C^{n}(\theta)$ 为第n个预测值与真实值之间的距离函数，则Loss Function可以表示为

$L(\theta)=\sum_{n=1}^{N}C^{n}(\theta)$

将 $\theta$ 中的某一个参数记为w， $C^{n}$ 简记为C，下面开始展示 $\frac{\partial C}{\partial w}$ 的计算过程。

如图所示是一个神经元，输入为 $x_{1}$ 和 $x_{2}$ ，令sigmoid函数的输入 $z=w_{1}x_{1}+w_{2}x_{2}+b$ ，则根据链式法则， $\frac{\partial C}{\partial w}=\frac{\partial C}{\partial z}\frac{\partial z}{\partial w}$ .

其中 $\frac{\partial z}{\partial w}$ 是容易得到的。若 $w=w_{1}$ ，则 $\frac{\partial z}{\partial w}=x_{1}$ ；若 $w=w_{2}$ ，则 $\frac{\partial z}{\partial w}=x_{2}$ ；否则 $\frac{\partial z}{\partial w}=0$ 。但是，计算 $\frac{\partial C}{\partial z}$ 需要考虑后面的运算对C带来的影响。

进一步地，令 $a=\sigma(z)$ ，我们可以得到 $\frac{\partial C}{\partial z}=\frac{\partial C}{\partial a}\frac{\partial a}{\partial z}$ 。同样的， $\frac{\partial a}{\partial z}$ 可以由sigmoid函数求导得到，计算 $\frac{\partial C}{\partial a}$ 需要考虑后面的运算对C带来的影响。

于是我们考虑下一层神经元。假设这个神经元只与下一层的两个神经元的连接。在下一层中，经过同样的运算可以得到 ${z}'$ 和 ${z}''$ 。于是 $\frac{\partial C}{\partial a}=\frac{\partial C}{\partial {z}'}\frac{\partial {z}'}{\partial a}+\frac{\partial C}{\partial {z}''}\frac{\partial {z}''}{\partial a}$ 。

观察这个式子，从图中易得 $\frac{\partial {z}'}{\partial a}=w_{3}$ ， $\frac{\partial {z}''}{\partial a}=w_{4}$ ，而 $\frac{\partial C}{\partial {z}'}$ 和 $\frac{\partial C}{\partial {z}''}$ 的求法与 $\frac{\partial C}{\partial z}$ 没有任何区别。于是我们考虑：能不能用递推的方法求出所有的 $\frac{\partial C}{\partial z}$ 呢？

答案是肯定的。通过以上的推导可以得到递推式

$\frac{\partial C}{\partial z}={\sigma}'(z)[w_{3}\frac{\partial C}{\partial {z}'}+w_{4}\frac{\partial C}{\partial {z}''}]$

如果这层神经元不是最后一层，即不是output layer，则用递推式计算；如果是output layer，假设输出分别为 $y_{1}$ 和 $y_{2}$ ，则 $\frac{\partial C}{\partial {z}'}=\frac{\partial C}{\partial y_{1}}\frac{\partial y_{1}}{\partial {z}'}=\frac{\partial C}{\partial y_{1}}{\sigma}'({z}')$ ， $\frac{\partial C}{\partial {z}''}=\frac{\partial C}{\partial y_{2}}\frac{\partial y_{2}}{\partial {z}''}=\frac{\partial C}{\partial y_{2}}{\sigma}'({z}'')$ 。

由于C是距离函数，表达式已知且显含y，所以 $\frac{\partial C}{\partial y}$ 易于求得。

与此同时，我们观察到，递推式的项数与该神经元连接到的神经元的个数相同，并且同样乘以一个系数之后相加，这个过程与神经网络做的事情很像。于是我们用一个反向的神经元来表示这个计算过程。但是激活函数由sigmoid函数换为乘一个常数 ${\sigma}'(z)$ ，并且没有bias项。

由于这个过程与正常的神经网络进行运算的方向是相反的，所以这个过程又叫做Backward pass。

总结

整理一遍整个运算过程，假设下图为我们要计算的神经网络。

首先，对整个神经网络进行一次运算，计算出z1，z2…以及y1和y2。

然后进行backward pass，计算 $\frac{\partial C}{\partial z_{1}}$ ， $\frac{\partial C}{\partial z_{2}}$ …一次性计算出所有需要用到的偏微分值。

最后依次对所有参数进行运算即可。

好想学会深度学习啊

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
李宏毅深度学习笔记（二）——后向传播（Backpropagation）

Backpropagation解决的是在神经网络中如何有效率的进行GradientDescent算法的问题。更具体地说，假设将LossFunction记为，其中为一个向量，表示所有的参数，那么的梯度表示为Backpropagation就是快速计算的一种方法。定义函数为第n个预测值与真实值之间的距离函数，则LossFunction可以表示为将中的某一个参数记为w，简记为C，下面开始展示的计算过程。如图所示是一个神经元，输入为和，令sigmoid函数的输入，则根据链式法则，....
复制链接

扫一扫