1.引言
本篇博客主要总结了拉格朗日乘子和KTT条件在机器学习中求解最优值的原理,博主尽量举点小例子帮助大家一起共同学习。
2.拉格朗日和KKT作用
我们在求解问题时,经常会遇到一些在约束条件下求解函数的。
在有等式约束条件下,我们选用拉格朗日乘子;
在有不等式约束条件下,选用KKT方法求解最优解。
因此我们可以将KKT条件看成是拉格朗日乘子的泛化。
3.求解最优问题的集中形式
通常我们需要求解的最优化问题有如下几类:
- 无约束条件下求最优值
minf(x,y) - 在等式条件下求解最优值
minf(x,y)
s.t...g(x,y)=c - 在不等式条件下求解最优值
minf(x,y)
s.t…g(x)<=0,h(x)<=0
4.求解不同最优问题方法
4.1无约束条件下的最优值求解
无约束条件下的函数 f(x,y) 求解最大或者最小值,一般求该函数对各个参数的偏导数,令偏导数为0,求解得到的 x0,y0 即为在该条件下可以使函数 f(x,y) 最优。
αf(x,y)/αx=0
αf(x,