机器学习Machine Learning中Back Propagation(BP算法) 更新参数详解

Feb. 22th 2020

在数学中，如果我们想寻求最优解，无论是局部（Local）最优还是全局（Global）最优，我们做的第一步就是求导，然后导数令为0，求出结果，这个结果就是全局或者局部最优的取值。一样的机器学习中，神经网络也是采用这样的思想（求导）来寻求最优解。但是和常见的数学不同的是，我们需要训练很多步，迭代很多次来求得最后的最优解，而不是一步求出，所以这时候就要用到我们的gradient descent的方法来进行参数的更新。

 具体计算过程：

嘻嘻

在最后一步 —7结束后，一轮BP算法就更新完一轮参数咯，再来再更新，知道到达你的迭代次数。