线性回归中，为什么梯度下降能找到使得损失函数取极小值时相应的参数？函数的凹凸性与拐点、凸函数、梯度下降

为什么梯度下降能找到函数的极值及相应的参数？

 

本文按机器学习对凸函数的定义（来源于国外的说法）形如“U"的为凸函数，形如“^”的为凹函数。

 

根据微积分知识：

1. 如果一个函数f(x)为凸函数（国内高等数学的凹函数），即其二阶导数>0，那么在它的定义域内一定有且只有一个极小值；
2. 一个函数在其某一点的梯度方向上增加的最快，在其负梯度方向上减小的最快；
3. 梯度下降算法是一种局部优化算法，能快速地沿着凸函数的负梯度方向找到局部的极小值点，梯度上升算法能快速地凹函数的正梯度方向找到局部极大值点。
4. 综合以上三点，所以梯度下降算法能在凸函数上找到全局极小值。