第二章 神经网络
课时9 梯度下降通俗解释
引入:当得到一个目标函数之后,如何进行求解?线性回归可以看作一个特例,可以直接求解得到。而其他目标函数不一定能求解得到。
由上softmax得到一个目标函数(损失函数)如何进行求解得到最好的W参数呢?
向着损失函数(loss function)减小的方向去做,每一次优化一点点。沿着切线方向,向下,走一小步,再算梯度。
算一个函数的梯度,梯度是向上的,要向下就要算梯度的反方向-----梯度下降。
课时10 参数更新的方法
以一个回归方程为例
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191223204038447.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE2NzcxMg==,size_16,color_FFFFFF,t_70)
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191223204410425.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE2NzcxMg==,size_16,color_FFFFFF,t_70)
偏导数:分别对θo和θ1进行求偏导。
将上面的目标函数换成普遍形式&#