凸优化、拉格朗日乘子、KKT条件

      在学校开的机器学习课上老师讲了拉格朗日乘子和KKT条件，当时百思不得其解啊，为什么约束区域如果不包括可行解（全局最优解），那么最优解一定在边界上？后来在网上查了凸优化的性质：Convex optimization is a subfield of optimization that studies the problem of minimizing convex functions over convex sets. The convexity makes optimization easier than the general case since local minimum must be a global minimum, and first-order conditions are sufficient conditions for optimality. (摘自维基百科Convex Optimization)

      What?? 所以凸优化问题中，局部最优解就是全局最优解，好吧，那么问题就显而易见了。（本人理解的显而易见，如果理解错误还望大神指出）以下把老师的讲解过程贴出，权当复习，数学味道比较淡，比较好直观理解。

1. 等式极值问题

      如下图，二维平面上，f(x,y)形成的一圈一圈的形状看成等高线（d1>d2），对应了不同的函数值，假设越往中间，函数值越小。