对偶问题、KKT条件、LP中的对偶问题

这篇文章是对 pluski和 Kevin_Duan 的读后感。看完这两位的文章后，对线性规划对偶问题的来龙去脉有了更深的理解。

这是我CSDN上的第一篇分享，肯定不会是最后一篇，希望能激励自己好好学习，赚钱养猫 ~

1. 拉格朗日函数和对偶问题

1.1 拉格朗日函数

优化问题一般都能转化为如下的形式：
$$\begin{array}{rl}\min & f(x)\\ s.t.& h_i(x)\le 0,i=1,...,m\\ & g_i(x)=0,i=1,...,n\end{array}$$ 这里面要求$g_i(x)$是仿射的，也就是形如$g_i(x)=Ax+b$.

那么对应的拉格朗日函数是：

$$L(x,\lambda ,v)=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{i=1}^n{v}_i{g}_i(x)$$

其中 ${\lambda }_i\ge 0$.

这里面${\lambda }_i,v_i$都是向量，它们的维度分别由$h_i(x),g_i(x)$确定，反正就是要保证矩阵相乘之后，${\lambda }_i{h}_i(x),v_i{g}_i(x)$ 都是一个数。 比方说，如果$g_i(x)$ 将 $x$ 映射成一个 $p\times 1$ 的向量的话， 那么$v_i$ 就是一个 $1\times p$ 的向量。

可以看到拉格朗日函数把约束和目标函数融合在了一起。那为什么要引入拉格朗日函数呢？ 神奇的地方就在于，从拉格朗日函数出发，我们能构造出原问题和对偶问题。

1.2 原问题

首先来看看
$$\begin{array}{rl}Z(x)=& \underset{\lambda \ge 0,v}{\max }L(x,\lambda ,v)\\ =& \underset{\lambda \ge 0,v}{\max }f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{i=1}^n{v}_i{g}_i(x)\end{array}$$ 这一小节想说的事情就是： $\min Z(x)$ 的最优解 $x^{\ast }$，其实是原问题的最优解。

首先，如果$x^{\ast }$ 是 $\min Z(x)$ 的最优解，那肯定有 $h_i(x^{\ast })\le 0$ 和 $g_i(x^{\ast })=$