【统计学习方法】拉格朗日乘子法

1 方向导数和梯度

 

1.1 方向导数定义

函数在点沿方向的方向导数：

根据拉格朗日中值定理（证明）

1.2 梯度

可以看成是两个向量的內积(点积),令

则：

,则可以得出以下结论：

当时，方向相同，函数变化率最大，且在点处呈上升趋势

当时，方向相反，函数变化率最大，且在点处呈下降趋势

我们称向量为函数在点处的梯度。

多元函数在某一点的梯度是一个非常特殊的向量，其由多元函数对每个变量的偏导数组成（这即是为什么求梯度的时候需要对各个变量求偏导的原因），其方向为函数在该点增加最快的方向，大小为函数在该点的最大变化率。

 

 

2 拉格朗日乘子法

2.1 无条件极值和有条件极值

无条件极值：对自变量除限制在定义域内外，并无其他条件

有条件极值：对自变量除限制在定义域内外，还有其他条件限制

 

2.2 多元函数存在极值的必要条件

函数在点具有偏导数，且在点处有极值，则他在该点的偏导数必然为0。

 

2.3 拉格朗日函数

目标函数：

约束条件：

拉格朗日函数： 

由存在极值必要条件知偏导数：

即：

2.4 拉格朗日乘子法为何有效（曲线上与原点距离最近的点）

求曲线上到原点（0,0）距离最短的点，距离原点距离为的点都在半径为的圆

上：

逐步加大圆的半径，显然（就是不想去解释）当圆与曲线相切时，切点即为曲线上到原点距离最短的点，这时在在切点处的函数梯度平行,即:

对比2.3的拉格朗日函数，发现形式是一样的。

 

参考：

如何理解拉格朗日乘子法

深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

拉格朗日乘子法——分析推导

如何直观形象的理解方向导数与梯度以及它们之间的关系

梯度的方向为什么是函数值增加最快的方向

方向导数与梯度