春笋的博客

原创 深度学习optimizer简单总结

优化算法optimizer总结综述 综述 在机器学习算法中，梯度下降法是求解其模型参数 θ\thetaθ 最常用的方法之一： 梯度，既目标函数变化最快的方向。假设目标函数为fff，变量集合为(x0x\tiny 0x0, x1x\tiny 1x1, …, xnx\tiny nxn)，则梯度是偏导数的集合： gradf(x0，x1，...，xn)=(∂f∂x0,∂f∂x1，...,∂f∂xn) gradf({x\tiny0}，{x\tiny 1}，...， {x\tiny n}) = ({\dfrac{\par