【weekly-sharing】反向传播算法在神经网络的应用

反向传播算法在神经网络的应用

当通过神经网络输入$x$，得到输出$\hat{y}$时，这些信息通过神经网络向前流动，这称之为前向传播（forward propagation）。

在网络得到输出时会得到一个代价函数，允许来自代价函数的信息通过网络向后流动，来计算梯度的过程叫反向传播（back propagation）

反向传播算法主要用于计算梯度

基础

1. 导数
   描述函数变化率

2. 方向导数
   某个方向上的导数

3. 梯度
   梯度的方向是方向导数中取最大值的方向，值是方向导数的最大值。如在二维中，梯度计算：
   

   $$\nabla \theta = (\frac{\partial \theta}{\partial x},\frac{\partial \theta}{\partial x})$$
   对矩阵的梯度计算如下图：
   

4. 代价函数（损失函数）
   代价函数（cost function）即损失函数（loss function）。如在机器学习中，真实值为$y$，而预测值为$\hat{y}$。代价函数就是来度量预测错误的程度。常写作$C$或$L$。

5. 链式法则
   链式法则（chain rule） 求复合函数导数的一个法则，如：
   

   $$(f(g(x)))' = f'(g(x))g'(x)$$
   
   dy