有约束的优化问题求解——Karush-Kuhn-Tucker (KKT)条件

前言：由于本科学习的数理知识较为基础，没有涉及到优化问题相关知识，在遇到优化问题时，满脸问号这是个啥子嘞？相信很多小伙伴也有和我一样的感受。在网上一顿神搜索，又查阅了相关的书籍，终于有了一点感悟。由于网上相关的知识较为零碎，我将其整理了一下，一是作为学习笔记，二是方便后面的小伙伴们学习。

Karush-Kuhn-Tucker (KKT)条件是非线性规划(nonlinear programming)最佳解的必要条件。KKT条件将Lagrange乘数法(Lagrange multipliers)所处理涉及等式的约束优化问题推广至不等式。在实际应用上，KKT条件(方程组)一般不存在代数解，许多优化算法可供数值计算选用。

1.等式约束优化问题

给定一个目标函数，在满足约束条件的前提下，使得目标函数有最小值。这个约束优化问题记为：

                                                            

此时Lagrange乘数法是等式约束优化问题的典型解法，定义Lagrangian函数为

                                                        

Lagrange乘数法将原本的约束优化问题转换成等