梯度下降（Gradient Descent）

梯度下降法（Gradient Descent）：是求解机器学习算法的模型参数（即无约束最优化问题）时，最常用的方法之一。

                                                                梯度下降法是一种迭代算法，每一步需求解目标函数的梯度向量。

什么叫梯度？在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。

                        比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。

从几何意义上讲，就是函数变化增加最快的地方。

具体来说，对于函数f(x,y),在点(x0,y0)，沿着梯度向量的方向就是(∂f/∂x0, ∂f/∂y0)T的方向是f(x,y)增加最快的地方。

或者说，沿着梯度向量的方向，更加容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，

也就是 -(∂f/∂x0, ∂f/∂y0)T的方向，梯度减少最快，也就是更加容易找到函数的最小值。

梯度下降法与梯度上升法的关系：在机器学习算法中，在最小化损失函数时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数，和模型参数值。  反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。

梯度下降法和梯度上升法是可以互相转化的。比如我们需要求解损失函数f(θ)的最小值，这时我们需要用梯度下降法来迭代求解。但是实际上，我们可以反过来求解损失函数 -f(θ)的最大值，这时用梯度上升法就可以了。

梯度下降法不一定能够找到全局的最优解，有可能是一个局部最优解。当然，如果损失函数是凸函数，梯度下降法得到的解就一定是全局最优解。梯度下降法的收敛速度也未必是很快的。

相关概念：

1. 步长（Learning rate）：步长决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。用上面下山的例子，步长就是在当前这一步所在位置沿着最陡峭最易下山的位置走的那一步的长度。

2.特征（feature）：指的是样本中输入部分，比如样本（x₀,y₀）,（x₁,y₁）,则样本特征为x，样本输出为y。

3. 假设函数（hypothesis function）：在监督学习中，为了拟合输入样本，而使用的假设函数，记为h_θ(x)。

比如对于样本（x_i,y_i）(i=1,2,...n),可以采用拟合函数如下： h_θ(x) = θ₀+θ₁x。

4. 损失函数（loss function）：为了评估模型拟合的好坏，通常用损失函数来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。

在线性回归中，损失函数通常为样本输出和假设函数的差取平方。

 　　　

梯度下降法的代数方式描述：

1. 先决条件： 确认优化模型的假设函数和损失函数。

　　　　

 2. 算法相关参数初始化

3. 算法过程：

　　　　　　1）确定当前位置的损失函数的梯度，

　　　　　 2）用步长乘以损失函数的梯度，得到当前位置下降的距离

                  3）确定是否所有的θ,梯度下降的距离都小于ε ，如果小于ε
则算法终止，当前所有的θ(i=0,1,...n)即为最终结果。否则进入步骤4）.

　　　　　　4）更新所有的θ
。更新完毕后继续转入步骤1）.