qfikh的博客

Ref： https://blog.csdn.net/weixin_42398658/article/details/84502215 https://blog.csdn.net/weixin_42398658/article/details/84525917 SGD ：参数=旧参数 - 学习率*梯度 （1）改变梯度：动量SGD： （2）改变学习率：AdaGrad -->引入衰...

Ref：https://www.zhihu.com/question/323747423/answer/790457991 首先看一下下面的流程图，机器学习中常用的一个有梯度优化算法之间的关系： 随机梯度下降SGD： 随机采样一个样本，根据预测值和真实值得到损失，然后计算损失函数对参数的偏导数，来对参数进行更新 动量法momentum： 动量法在梯度下降法的基础上加入一个动量变量来控制...