KKT condition --- Karush–Kuhn–Tucker conditions

有关KKT条件，一直都看的云里雾里，但是还是很好奇其内在的逻辑，最后花时间整理了一下，有不足之处请指正。

有关原问题和对偶问题的转化知乎回答解释的更详细。

正文开始之前，介绍一些概念

• Duality，对偶性

（1）比如极大极小问题和极小极大问题就是对偶问题，当把极大极小问题转化成极小极大问题来求解时，得到的最优解分别是d和p，那么最优解之间可能会存在一个差值，叫做duality gap。

（2）当遵循强对偶时，gap值=0，通常在凸问题中；当遵循弱对偶时，对偶值为正，凸问题和非凸问题都存在。

（3）对偶问题的函数表达理解

• Convex optimization，凸优化   

（1）求解凸函数在凸集上的最小值，此时求解的局部最小值就是全局最小值（原因请自己查凸函数和凸集的定义）。

（2）凸函数的最小值