拉格朗日函数对偶问题、KKT条件

本篇上一篇讲的凸优化问题：凸优化问题（最简单）链接: link

一、概念介绍

KKT最优化条件是Karush(1939)以及Kuhn和Tucker(1951)先后独立发表出来的，但在Kuhn和Tucker发表之后才逐渐受到重视，因此多数情况下记载成库恩-塔克条件(Kuhn-Tucker conditions)。先介绍几个优化的概念。

1.1 优化

最优化问题，是指在一定约束条件下，求解一个目标函数的最大值（或最小值）问题。根据是否有变量的约束条件，可以将优化问题分为无约束优化问题和约束优化问题。

1.2 无约束优化问题

目标函数的可行域为全空间，对目标函数直接求导求出极值点。

1.3 约束优化问题（Constrained Optimization）

约束优化问题中变量需要满足一些等式或不等式的约束条件。约束优化问题通常使用拉格朗日乘数法来进行求解。

1.4 凸优化

非线性优化问题中，有一类比较特殊的问题是凸优化问题（Conver Programming）。在凸优化问题中，变量x的可行域为凸集，即对于集合中任意两点，他们的连线全部位于在集合内部。目标函数f也必须为凸函数，即满足