机器学习之重要迭代算法梯度下降法

• 1、梯度：梯度是导数对多元函数的推广，它是多元函数对各个自变量偏导数形成的向量。
  
  • 一元函数$f(x)=3x^2+6x$，它的导数（梯度）为$▽f(x)=f^{{}^{\prime }}(x)=6x+6$，当梯度为0时，$x=-1$为极值点；
  • 多元函数$f(x,y)=x^2-2x^{2}y+y^2$，对其x和y分别求偏导形成向量为$▽f(x,y)=f^{{}^{\prime }}(x,y)=(2x-4xy,2y-2x^{2}y{)}^T$，梯度为0时，极值点为(0,0)或(1,1/2)或(-1,1/2)。
• 2、Hessian矩阵：虽然找到了极值点，但我们不知道它是极大值点还是极小值点，因此这里引入Hessian矩阵（二阶倒数），判断依据：如果Hessian矩阵正定，函数有极小值；如果Hessian矩阵负定，函数有极大值；如果Hessian矩阵不定，则不是极值点（鞍点）；正定矩阵的判定参考：这里。
  
• 还是多元函数$f(x,y)=x^2-2x^{2}y+y^2$，对其x和y分别求偏导形成向量为$▽f(x,y)=f^{{}^{\prime }}(x,y)=(2x-4xy,2y-2x^{2}y{)}^T$，梯度为0时，极值点为(0,0)或(1,1/2)或(-1,1/2)。Hessian矩阵为
  [ 2 x y − 4 x − 4 x y 2 − 2 x 2 ] \begin{bmatrix} 2xy&-4x\\ -4xy&2-2x^2\\ \end{bmatrix} [2xy−4xy​