深入理解机器学习中拉格朗日乘子和KKT条件

1.引言

本篇博客主要总结了拉格朗日乘子和KTT条件在机器学习中求解最优值的原理，博主尽量举点小例子帮助大家一起共同学习。

2.拉格朗日和KKT作用

我们在求解问题时，经常会遇到一些在约束条件下求解函数的。
在有等式约束条件下，我们选用拉格朗日乘子；
在有不等式约束条件下，选用KKT方法求解最优解。
因此我们可以将KKT条件看成是拉格朗日乘子的泛化。

3.求解最优问题的集中形式

通常我们需要求解的最优化问题有如下几类：

• 无约束条件下求最优值
  $minf(x,y)$
• 在等式条件下求解最优值
  $minf(x,y)$
  $s.t... g(x,y)=c$
• 在不等式条件下求解最优值
  $minf(x,y)$
  $s.t… g(x)<=0 ,h(x)<=0$

4.求解不同最优问题方法

4.1无约束条件下的最优值求解

无约束条件下的函数$f(x,y)$求解最大或者最小值，一般求该函数对各个参数的偏导数，令偏导数为0，求解得到的$x_0,y_0$即为在该条件下可以使函数$f(x,y)$最优。

$$\alpha f(x,y)/\alpha x = 0$$

αf(x,