拉格朗日乘子法 & KKT条件

目录

1. 拉格朗日乘子法用于最优化的原因

2. 最优化问题三种情况

2.1 无约束条件

2.2 等式约束条件：拉格朗日乘子法

2.3 不等式约束条件：KKT

3. Lagrange对偶函数

3.1 对偶函数与原问题的关系

3.2 Lagrange对偶问题

（1）弱对偶性

（2）强对偶性

（3）KKT条件

---

        在求解最优化问题中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）条件是两种最常用的方法，即：

• 拉格朗日乘子法：在有等式约束时使用拉格朗日乘子法；
• KKT条件：在有不等约束时使用KKT条件。

1. 拉格朗日乘子法用于最优化的原因

       考虑一个简单的问题目标函数f，等式约束，求解极小值点。

       f(x)在二维平面上画出等高线就是一条条斜率相同的直线，h(x)=0在二维平面上画出等高线就是一个圆，如下图所示。可以明显的看出&