2301_76506246的博客

原创 关于SGD、Adam、Adamw控制变量的对比实验

随机梯度下降算法(SGD)是最基本的梯度下降算法，对比BGD算法，SGD算法由于不是基于全部的数据，而是在每轮迭代中，随机优化某一条数据上的损失函数使更新速度大大加快。但其准确度会下降。Adam算法是基于AdaGrad算法和RMSProp算法，可以结合动量和自适应学习的集大成者，是目前应用最广泛的算法。Adamw算法效果与Adam相同，但效率更高，因为Adamw直接将正项的梯度加入反响传播的公式中年，省去了手动输入。我们通过计算接近x=6上y=(sin(x))^2+cos(x)+5的极小值点的迭代次数来对比