1 方向导数和梯度
1.1 方向导数定义
函数在点沿方向的方向导数:
根据拉格朗日中值定理(证明)
1.2 梯度
可以看成是两个向量的內积(点积),令
则:
,则可以得出以下结论:
当时,方向相同,函数变化率最大,且在点处呈上升趋势
当时,方向相反,函数变化率最大,且在点处呈下降趋势
我们称向量为函数在点处的梯度。
多元函数在某一点的梯度是一个非常特殊的向量,其由多元函数对每个变量的偏导数组成(这即是为什么求梯度的时候需要对各个变量求偏导的原因),其方向为函数在该点增加最快的方向,大小为函数在该点的最大变化率。
2 拉格朗日乘子法
2.1 无条件极值和有条件极值
无条件极值:对自变量除限制在定义域内外,并无其他条件
有条件极值:对自变量除限制在定义域内外,还有其他条件限制
2.2 多元函数存在极值的必要条件
函数在点具有偏导数,且在点处有极值,则他在该点的偏导数必然为0。
2.3 拉格朗日函数
目标函数:
约束条件:
拉格朗日函数:
由存在极值必要条件知偏导数:
即:
2.4 拉格朗日乘子法为何有效(曲线上与原点距离最近的点)
求曲线上到原点(0,0)距离最短的点,距离原点距离为的点都在半径为的圆
上:
逐步加大圆的半径,显然(就是不想去解释)当圆与曲线相切时,切点即为曲线上到原点距离最短的点,这时在在切点处的函数梯度平行,即:
对比2.3的拉格朗日函数,发现形式是一样的。
参考:
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件