机器学习(四)监督学习---拉格朗日乘子法

 
 

        Q1: 对于一个有 n 个变量与 k 个约束条件的最优化问题转换为一个有 n + k 个变量的方程组的极值问题，其变量不受任何约束，这样如何解决？
 

        拉格朗日乘子法 (Lagrange Multiplier Method): 用于解决约束优化问题，是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。

                

---

                                
解析上式：

• 当 g_i(x)＞0，即不满足约束条件时，由于内层取max，因此 ${\alpha }_i=\infty \Rightarrow {\alpha }_i{g}_i(x)=\infty$
• 当 g_i(x) ≤ 0，即满足约束条件时，由于内层取max，因此 ${\alpha }_i=0\Rightarrow {\alpha }_i{g}_i(x)=0$
• 当 h_j(x) ≠ 0，即不满足约束条件时，由于内层取max，因此 ${\beta }_j=sign(h_j(x))\cdot \infty \Rightarrow {\beta }_j{h}_j(x)=\infty$
• 当 h_j(x) = 0，即满足约束条件时，由于内层取max，因此 $\forall {\beta }_j\Rightarrow {\beta }_j{h}_j(x)=0$

        ※ 满足约束条件则是取0，不满足则是取 ∞，因此必须满足下式才有意义：
                                

---

对偶问题

 
作用：原问题的 关于x 的最小化 转化为了 对偶问题关于α、β的最大化。
                  

---

KKT条件