梯度下降法是一种最优化算法,通常也称为最速下降法。该方法基于这样的现象:如果实值函数F(x)在点a处可微且有定义,那么函数F(x)在a点沿着梯度相反的方向下降最快。 因而,如果 对于为一个够小数值时成立,那么