CS231n笔记（4）反向传播

可终于来到反向传播了。。。之前更新得实在是太慢了。。。这里因为贫僧已经过了一次，所以很多地方会直接忽略掉。

简介

反向传播是利用链式法则递归计算表达式的梯度的方法。理解反向传播过程及其精妙之处对于理解、实现、设计和调试神经网络非常关键（疯狂暗示）。

问题陈述：核心问题是给定函数$f(x)$，其中$x$是输入数据的向量，需要计算函数$f$关于$x$的梯度，也就是$\nabla f(x)$。

通常就是要计算出损失函数（$f$和损失函数$L$相关）的梯度（这意味着要计算权重、偏置和输入数据的梯度，但是实际运用中通常只计算权重和偏置的），然后通过反向传播计算出参数的梯度然后更新权重矩阵$W$。

梯度

梯度其实就是：

$$\nabla f(x) = [\frac{\partial f}{\partial x}, \frac{\partial f}{\partial y}] = [y, x]$$

偏导、链式法则等基础部分直接略过，这部分不懂的请自行翻看高数（同济版的话是上册，这些已经是非常基础的知识了）课本。。。

但是这里还是提一下作者说的方向传播的意思，首先举个例子：

存在这么一个公式