凸优化问题的引申过程

1、没有约束条件的优化方程：

      例如   min f（x）

这个时候由于没有约束条件，或者说约束域是全体实数集。那么这个时候的方法就是求导，求得驻点，一一带入求得最值！当然前提函数也是凸函数的。

2、拉格朗日乘子法

转换为

系数λ_i称为拉格朗日乘子。添加约束项，这种做法在机器学习里面的很多模型都是借鉴这样的方程！

3、KKT条件

对于带约束优化问题

KKT条件指出，在最优解处X*应该满足：

相比前面这有边界约束（等式），这里还有区域的约束（不等式），当然方程的构建上面还是类似的扩展，但是这里要注意的是上面的的不等式方程与拉格朗日参数u要异号！