前言:由于本科学习的数理知识较为基础,没有涉及到优化问题相关知识,在遇到优化问题时,满脸问号这是个啥子嘞?相信很多小伙伴也有和我一样的感受。在网上一顿神搜索,又查阅了相关的书籍,终于有了一点感悟。由于网上相关的知识较为零碎,我将其整理了一下,一是作为学习笔记,二是方便后面的小伙伴们学习。
Karush-Kuhn-Tucker (KKT)条件是非线性规划(nonlinear programming)最佳解的必要条件。KKT条件将Lagrange乘数法(Lagrange multipliers)所处理涉及等式的约束优化问题推广至不等式。在实际应用上,KKT条件(方程组)一般不存在代数解,许多优化算法可供数值计算选用。
1.等式约束优化问题
给定一个目标函数,在满足约束条件的前提下,使得目标函数有最小值。这个约束优化问题记为:
此时Lagrange乘数法是等式约束优化问题的典型解法,定义Lagrangian函数为
Lagrange乘数法将原本的约束优化问题转换成等