05 凸优化理论-对偶

5.1 Lagrange对偶函数

Lagrange对偶的基本思想：添加约束函数的加权和，得到增广的目标函数

（一）Lagrange对偶函数

5.1.2 Lagrange对偶函数

Def 1 Lagrange函数的定义
Def 2 Lagrange对偶函数的定义g(λ,v)

定理1：对偶函数是一族关于（λ，v）的仿射函数逐点下确界，对偶函数是凹函数。

5.1.3 最优值的下界

定理2（Lagrange对偶函数是最优值$p^{\ast }$的下界）：对于任意$\lambda \ge 0，v$，有$g(\lambda ,v)\le p^{\ast }$。

注：为给出$p^{\ast }$的一个非平凡下界，需要$\lambda \ge 0，(\lambda ,v)\in domg，即g(\lambda ,v)>-\infty$。称满足上述条件的(λ,v)是对偶可行的。

ps. 通过线性逼近理解以上概念
首先将原问题重新（等价）描述为一个无约束问题：用无限强硬的不满意方程表示

1. Lagrange函数是用线性或“软”的不满意函数替换强硬不满意函数得到的；
2. 最优值下界：线性函数可以看成是示性函数的一个下估计。

5.1.5 示例

1. 线性方程组的最小二乘解
2. 标准形式的线性规划
3. 双向划分问题
   该问题的遍历法求解思路
   理解方式：1. 将原问题理解为双向划分问题；2. 将原问题理解为特征值问题；

（二）Lagrange对偶函数与共轭函数