本文介绍了拉格朗日乘数法及其在解决约束优化问题中的应用，如求解距离原点最近的点。接着讨论了拉格朗日对偶问题，展示了如何通过构造拉格朗日函数来消除约束条件，并定义了原始问题和对偶问题之间的关系。最后，阐述了Karush-Kuhn-Tucker（KKT）条件，作为判断原始问题和对偶问题极值相等时必须满足的条件，特别是对于凸优化问题和仿射函数约束的情况。
拉格朗日乘数法
拉格朗日乘数法是求变量在
一个或多个约束下的极值问题
eg：已知双曲线 x y = 3 xy=3 xy=3，求曲线上距离原点最近的点。
由题我们可以得出如下式子：
m i n f ( x , y ) = x 2 + y 2 min f(x,y) =x^{2}+y^{2} minf(x,y)=x2+y2
\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad subject to constraint x y = 3 xy=3 xy=3 \quad → \to → \quad g ( x , y ) = 3 g(x,y)=3 g(x,y)=3
解:
求极值，意味着两条线在极值点处相切，即 Δ f = λ ∗ Δ g {\Delta f} = \lambda * \Delta g Δf=λ∗Δg
Δ f ( x , y ) Δ x = 2 x = λ ∗ Δ g ( x , y ) Δ x = λ ∗ y \frac{\Delta f\left ( x,y\right )}{\Delta x} = 2x = \lambda * \frac{\Delta g\left ( x,y\right )}{\Delta x} = \lambda * y ΔxΔf(x,y)=2x=λ∗ΔxΔg(x,y)=λ∗y
Δ f ( x , y ) Δ y = 2 y = λ ∗ Δ g ( x , y ) Δ y = λ ∗ x \frac{\Delta f\left ( x,y\right )}{\Delta y} = 2y = \lambda * \frac{\Delta g\left ( x,y\right )}{\Delta y} = \lambda * x ΔyΔf(x,y)=2y=λ∗ΔyΔg(x,y)=λ∗x
g ( x , y ) = 3 g(x,y) = 3 g(x,y)=3
2 x − λ y = 0 2x-\lambda y =0 2x−λy=0
λ x − 2 y = 0 \lambda x-2y=0 λx−2y=0
x y = 3 xy=3 xy=3
上述三个方程可以化解成矩阵进行求解：
[ 2 − λ
最低0.47元/天 解锁文章
4286
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
