梯度下降算法其实就是,求代价函数(损失函数)在各个变量方向的偏导数,然后用原当前的值减去α与偏导的值,进行更新该变量方向的值。(α叫做学习率)
各方向值的更新中必须同时更新,即,把所有的更新后的值先用对应的temp存起来,然后再集中赋值到对应的方向变量。而不能把方向变量一个一个的更新,这样会导致更新状态中的各个方向变量一直在变,会影响其他方向的更新。
吴恩达ML-notes(7.22)
最新推荐文章于 2024-09-10 15:28:21 发布
梯度下降算法其实就是,求代价函数(损失函数)在各个变量方向的偏导数,然后用原当前的值减去α与偏导的值,进行更新该变量方向的值。(α叫做学习率)
各方向值的更新中必须同时更新,即,把所有的更新后的值先用对应的temp存起来,然后再集中赋值到对应的方向变量。而不能把方向变量一个一个的更新,这样会导致更新状态中的各个方向变量一直在变,会影响其他方向的更新。