梯度下降算法

梯度

    在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y)f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x0,∂f/∂y0)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f/∂x0,∂f/∂y0)T.或者▽f(x0,y0)。如果是3个参数的向量梯度，就是(∂f/∂x, ∂f/∂y，∂f/∂z)T,以此类推。

梯度向量，从几何意义上讲，就是函数变化增加最快的地方。具体来说，对于函数f(x,y),在点(x0,y0)，沿着梯度向量的方向就是(∂f/∂x0, ∂f/∂y0)T的方向是f(x,y)增加最快的地方。或者说，沿着梯度向量的方向，更加容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，也就是 -(∂f/∂x0, ∂f/∂y0)T的方向，梯度减少最快，也就是更加容易找到函数的最小值。

梯度下降的相关概念
　　　　 

1. 步长（Learning rate）：步长决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。用上面下山的例子，步长就是在当前这一步所在位置沿着最陡峭最易下山的位置走的那一步的长度。

特征（feature）：指的是样本中输入部分，比如样本（x0,y0）,（x1,y1）,则样本特征为x，样本输出为y。

假设函数（hypothesis function）：在监督学习中，为了拟合输入样本，而使用的假设函数，记为hθ(x)。比如对于样本（xi,yi）(i=1,2,…n),可以采用拟合函数如下： hθ(x)=θ0+θ1xhθ(x)=θ0+θ1x。

损失函数（loss function）：为了评估模型拟合的好坏，通常用损失函数来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。在线性回归中，损失函数通常为样本输出和假设函数的差取平方。比如对于样本（xi,yi）(i=1,2,…n),采用线性回归，损失函数为： 
J(θ0,θ1)=∑i=1m(hθ(xi)−yi)2J(θ0,θ1)=∑i=1m(hθ(xi)−yi)2
其中xi表示样本特征x的第i个元素，yi表示样本输出y的第i个元素，hθ(xi)hθ(xi)为假设函数。 

 核心:最小化目标函数J(θ)，其中θ是模型的参数，θ∈Rdθ∈Rd。它的方法是，在每次迭代中，对每个变量，按照目标函数在该变量梯度的相反方向，更新对应的参数值。其中，学习率η决定了函数到达（局部）最小值的迭代次数。

算法过程
1、确定当前位置的损失函数的梯度，对于θi,其梯度表达式如下： //向量
∂∂θiJ(θ0,θ1,…,θn)∂∂θiJ(θ0,θ1,…,θn)
2、用步长α乘以损失函数的梯度，得到当前位置下降的距离，即α∂∂θiJ(θ0,θ1,...,θn)α∂∂θiJ(θ0,θ1,...,θn)对应于前面登山例子中的某一步。

3、确定是否所有的θi,梯度下降的距离都小于ε，如果小于ε则算法终止，当前所有的θi(i=0,1,…n)即为最终结果。否则进入步骤4.

4、更新所有的θ，对于θi，其更新表达式如下。更新完毕后继续转入步骤1.

注意1、梯度是一个向量2、更新新的点距离是步长乘上梯度，对向量中每个元素进行更新

对于上图有一点疑问，为什么不直接判断当前自变量的导数值是不是接近于给定参数（一个很小的数），而判断自变量的变化量。还有就是当达到判定条件时也不一定是最小值，可能是极小值。