统计学习方法---有约束最优化方法（不等式约束）

不等式约束问题：等式约束、大于号约束，小于号约束————>约束方程=0和约束方程<0

1.拉格朗日乘子法：

解决的是凸优化问题，即

 怎么判断一个目标函数是不是凸优化问题呢？https://www.zhihu.com/question/334515180

 它的关键一步是将不等式约束问题变为等式求最优问题，将约束和最优目标进行联合求解。

拉格朗日乘子法：将原问题转化为极小极大问题，极大问题

2.KKT条件：

其实是引入了松弛变量（不等式的乘子）和拉格朗日乘子（等式的乘子），然后最后还是将所有的导数为0去找极值。

对于松弛变量*不等式=0的解释为两个相交的等高线在相切时同时满足。