全网最好的-反向传播算法理解和推导（BP）

反向传播就是梯度不断分解的过程。（如果想不通没关系，因为这个说法并不严谨）

简单理解一下

首先第一次前向传播，参数通过随机赋予或者人为设定的权重w和偏置通过前向传播一直到输出层的参数，此时输出y和标签很大可能有偏差&，那么开始考虑如何更新参数呢从小减小&呢，思考一下，既然输入层可以前向传播到输出层，反过来想，我们的目的是最小化误差&，那么如果我们找到一种方式可以使得误差在尽可能小，因为影响误差&的参数就是前面所有的w和b,以及各网络层的输出。进一步思考，我们把误差从后向前传播当然条件就是使得误差&尽可能小。这里有一个很重要的思想，就是损失函数J在各个参数各自的梯度方向上更新参数，那么J的值更新的的越快（梯度方向由向量表示，多个梯度方向的向量和即为损失函数值更新最快的方向），这里就涉及到了梯度下降法。
（如果某一个w和b对最后的判断结果产生了重大的影响，那么当这个判断结果有偏差的时候，那么这个w和b一定也是对这个偏差有重大影响的。所以希望减小偏差时，优先调整那些对偏差有重大影响的参数。反向传播传的是偏差的信息，把偏差传递到各个参数上，根据参数对偏差贡献的大小，相应的承担修改的责任）“就是说J由多个参数决定，假设有三个参数决定，那么在一个四维空间中，a,b,c共同决定了J的大小，那么我们希望J的值开始变小，那么只要a,b,c不论哪个往负梯度方向改变，那么J都会变小，如果他们同时往负梯度方向改变，那么J减小的速率是最快的。”

梯度下降法

梯度

偏导

首先构造损失函数J，如下图所示：

进一步简化J如下：

这时如果对J求梯度，它其实代表了增大最快的那个方向，负梯度方向也就是减小最快的那个方向。对其求梯度，如下图：

w我们希望J最快的减小，也即希望最后输出层a和标签y的差值最小，或者说希望a沿着负梯度方向最快走一截，但是a由w和b以及上一层的a决定，所以将a（也可以理解为J）的负梯度方向分解为w的负梯度方向，b的负梯度方向，a的负梯度方向，这样w和b就可以进行更新了，并且他两的变化的目标就是使J朝着最快的方向减小一段。而a的变化还要取决于上一层的w和b，这时可以构造新的损失函数，使得误差继续向上一层传递（这里有一种新的理解就是a的值始终由w和b决定，那么只需要朝着负梯度方向不断更新w和b，自然a的值也会不断地更新，当然a也可以理解为只是个中间值，作用就是帮助反向传播误差），当输出层的w和b更新完成后，继续开启下一轮，此时输出层的w和b暂时不发生变化，相当于已经完成它这一次更新的任务，当然a也是要求它沿着负梯度方向走一截，而它的梯度方向又可以分解为新的w,b,a,误差就这样一直方向传递，直到输入层，w和b也一直更新直到全部更新一遍。到这里所有的参数都能在梯度方向上修改一遍。

链式求导

第一步肯定是对J求梯度，

新建一个虚拟的l+1层，这个并不是真的有一个感知机，而是把这个分量当做是一个新的误差函数便于梯度进行分解，而这个感知机只对第一个有效。


该调整调整，该向前传播向前传播。

到这，神经网络的第一层学习完成了一遍，除第一层输出外，所有系数的更新迭代完成了一遍。