梯度下降

梯度其实是一个向量，包含两个要素，大小和方向。其中方向是偏导数最大的那个方向，偏导数的最大值。

用数学来描述的话，就是。

其中f一般是代价函数

 

而所谓梯度下降其实就是沿着梯度的反方向（函数值减少的最快的方向）移动一定的步长的迭代算法，通过一定次数的迭代后就可以快速的下降局部最小值周围。

而梯度下降一般用于严格凸函数，即只有一个极小值，且除最小值点外，其他点梯度不等于0。

其数学表达式是

其中X是n维参数向量。α是学习因子，用于控制步长，一般初始值取0.1左右。

列1：

对于线性回归

在数据集{X_i,y_i}其代价函数为

目标是求解出合适的参数θ，使得代价函数最小化。让f对θ求偏导和整理可以得到一个优雅的迭代方程

为啥这个方程优雅呢，因为这个方程可以这样表达：

我们发现更新量其实就是对拟合偏差的线性加权。

此外梯度下降还存在许多优化，比如学习因子的控制,初始值的选取

转载于:https://www.cnblogs.com/qswg/p/9286337.html