lml3040891085的博客

原创 梯度下降之随机梯度下降，牛顿迭代，动量法

这次梯度下降算法之旅，是我在探索优化世界的过程中的第一次分享，也是我对知识的虚心求教之旅。因此，我诚挚地向各位请教，希望能够从大家的经验和智慧中汲取更多的营养，使自己能够在优化的道路上更进一步。不过，在我开始之前，我必须要坦诚地承认，梯度下降听起来像是一场令人头痛的滑行之旅，但请放心，我会尽力让这趟旅程变得轻松愉快，就像在数学乐园中游玩一样。牛顿迭代法利用了更多的信息，以更快的速度收敛于最优解，但有时候也会需要更多的计算资源，就像是开超级跑车一样，得确保有足够的油料和维护保养。最后，让我们来谈谈动量法。