2021李宏毅机器学习笔记--7.1 backpropagation
1 摘要
上文讲到可以用Backpropagation的方法对网络中的所有参数( w 和 b)进行更新,最终使total loss达到最低值,本文将介绍具体的步骤。
2 步骤
选定一组初始的参数,计算它们的梯度,然后进行更新,但是在神经网络中有非常多的参数,怎么能更有效率呢?用到了backpropagation的方法。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210522224215651.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3hpbnhpbjA2MDU=,size_16,color_FFFFFF,t_70)
2.1 chain rule链式法则
链式求导法则,一个变量受到其他变量或多个变量的影响时,求导时要注意不要求错或漏掉某一部分。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210522224958613.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3hpbnhpbjA2MDU=,size_16,color_FFFFFF,t_70)
2.2 loss function
求出预测值与真实值之间的差距再sum一下