2021李宏毅机器学习笔记--7.1 backpropagation
1 摘要
上文讲到可以用Backpropagation的方法对网络中的所有参数( w 和 b)进行更新,最终使total loss达到最低值,本文将介绍具体的步骤。
2 步骤
选定一组初始的参数,计算它们的梯度,然后进行更新,但是在神经网络中有非常多的参数,怎么能更有效率呢?用到了backpropagation的方法。
2.1 chain rule链式法则
链式求导法则,一个变量受到其他变量或多个变量的影响时,求导时要注意不要求错或漏掉某一部分。
2.2 loss function
求出预测值与真实值之间的差距再sum一下