松弛条件

基本的优化问题：

$$\begin{equation} \begin{aligned} \text{minimize} \quad &f_0(x) \\ \text{subject to} \quad& f_i(x) \leq 0, i=1,...,m \\ &h_i(x)=0,i=1,...,p \end{aligned} \end{equation}$$

互补松弛条件：
令$x^*$是原问题的最优解，$\lambda^*,v^*$是对偶问题的最优解。我们有下面的不等式：

$$\begin{equation} \begin{aligned} f_0(x^*)&=g(\lambda^*,v^*) \\ &=\inf_x \left ( f_0(x) +\sum_{i=1}^m \lambda_i^* f_i(x)+\sum_{i=1}^p v_i^* h_i(x) \right ) \\ & \leq f_0(x^*)+{\color{red}{\sum_{i=1}^m \lambda_i^* f_i(x^*)+\sum_{i=1}^p v_i^*h_i(x^*)}} \\ &\leq f_0(x^*) \end{aligned} \end{equation}$$

我们可知上面的两个叠加都为0，但是第二个叠加是很显然的，没有信息量。从第一个叠加和$\lambda_i^* \geq 0$，以及$f_i(x^*) \leq 0$,我们得到下面的松弛条件：

$$\lambda_i^*f_i(x^*)=0,i=1,...,m$$
则:
$$\begin{equation} \begin{aligned} \lambda_i^* >0 \quad &\Rightarrow \quad f_i(x^*) =0\\ f_i(x^*)>0 \quad &\Rightarrow \quad \quad \quad \lambda_i^* =0 \end{aligned} \end{equation}$$
其描述了，对于不等式约束，其拉格朗日系数最优解和原问题最优解之间的关系。