线性回归中,为什么梯度下降能找到使得损失函数取极小值时相应的参数?函数的凹凸性与拐点、凸函数、梯度下降
为什么梯度下降能找到函数的极值及相应的参数? 本文按机器学习对凸函数的定义(来源于国外的说法)形如“U"的为凸函数,形如“^”的为凹函数。 根据微积分知识:如果一个函数f(x)为凸函数(国内高等数学的凹函数),即其二阶导数>0,那么在它的定义域内一定有且只有一个极小值; 一个函数在其某一点的梯度方向上增加的最快,在其负梯度方向上减小的最快; 梯度下降算法是一种局部优化...
原创
2018-08-03 19:57:18 ·
3301 阅读 ·
0 评论