机器学习基础篇-NN反向传播

在深度学习的神经网络中，可以通过Computation Graph建立每层函数之间的关系。下面开始举例。

前向传播
首先我们有三个参数a,b,c，其损失函数为J(w) = 3(a+b*c)，然后计算每个参数的梯度：
$$\frac{dJ}{da};\frac{dJ}{db};\frac{dJ}{dc}$$
然后我们可以通过拆解损失函数，并通过中间参数进行传递：
$$\begin{gathered} u=bc \\ v=a+u \\ J=3v \end{gathered}$$
由上，可以建立一个计算图：

反向传播
在计算图的基础上，可以清楚的得到每个参数的梯度求导公式：
$$\begin{gathered} \frac{dJ}{da}=\frac{dJ}{dv}\frac{dv}{da} \\ \frac{dJ}{db}=\frac{dJ}{dv}\frac{dv}{du}\frac{du}{db} \\ \frac{dJ}{db}=\frac{dJ}{dv}\frac{dv}{du}\frac{du}{dc} \end{gathered}$$
为了让求解过程更清晰地表达，我们将公式带入到计算图中

现在开始反向传播，通过简单地组合节点梯度来计算每个参数的梯度：

所以有
$$\begin{gathered} \frac{dJ}{da}=\frac{dJ}{dv}\frac{dv}{da}=3\ast 1=3 \\ \frac{dJ}{db}=\frac{dJ}{dv}\frac{dv}{du}\frac{du}{db}=3\ast 1\ast 2=6 \\ \frac{dJ}{db}=\frac{dJ}{dv}\frac{dv}{du}\frac{du}{dc}=3\ast 1\ast 3=9 \end{gathered}$$

在NN神经网络中，通过线性函数和非线性函数的组合构成一个网络去解决问题，并通过反向传播更新线性函数的超参数的权重来拟合数据，其中非线性函数sigmoid是激活函数，其作用是当只有线性函数组合时，整个函数还是线性函数，只有组合了sigmoid，才能是非线性函数，用来拟合非线性关系（生活中大多数问题都是非线性问题）。