神经网络之梯度下降法和反向传播BP

梯度下降法和反向传播网上资料非常多，记录点自己理解的

1.梯度下降法是为了使损失函数求最小，而梯度方向是函数增长最快的方向，前面加个负号就变成函数减少最快的方向：

                      更新后的权重 = 更新前的权重  +  （-学习率*计算误差对权重的偏倒）   学习率取值很重要    过小的话收敛慢   过大的话可能错过极值点

     这里把后半部分写在一个括号里为了更好理解，不要理解为权重减去某个值，应理解为权重沿梯度方向的反方向走，计算偏移量也是一样的

2.在神经网络中计算偏差对权重直接求偏倒很困难，这里就用到链式法则，通过中间变量求偏倒最后得到所要求的偏倒，这个过程就是   个反向传播的过程，一步步反向求网络的偏倒。