数学基础（三）：凸优化对偶理论（拉格朗日对偶函数，主对问题，强弱对偶问题）

数学基础系列博客是自己在学习了稀牛学院&网易云课堂联合举办的《人工智能数学基础》微专业后的课程笔记总结。怀着对授课讲师Jason博士无限的敬佩与感激之情，我在完整听了两遍课程之后，对这门进行了笔记整理。Jason博士用深入浅出的方式把数学知识真的是讲透彻了，我的笔记显然无法完整传达Jason博士的精彩授课内容，在此非常推荐每一个打算进入或了解AI的同学去学习这门课程！

一：一般优化问题

$$\begin{gathered} minmize{f}_0(\mathbf{x}) \\ subjectto{f}_i(\mathbf{x})\le 0fori=1,2,...m \\ {h}_i(\mathbf{x})=0fori=1,2,...p \end{gathered}$$

问题的定义域$\mathcal{D}=\left({\bigcap }_{i=0}^m\mathrm{dom}{f}_i\right)\bigcap \left({\bigcap }_{i=0}^p\mathrm{dom}{h}_i\right)$.需要注意的是 ：定义域与可行域是不同的。可行域是同时满足目标函数定义域和约束条件的x的集合。

二：拉格朗日函数

2.1 函数基本介绍

• 拉格朗日函数将目标函数和约束条件整合到了一起。
  $$L(\mathbf{x},\lambda ,v)=f_0(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{f}_i(\mathbf{x})+\sum _{i=1}^p{v}_i{h}_i(\mathbf{x})$$

• 主变量 ：$\mathbf{x}$

• 对偶变量：$\lambda \ge 0$,即$\lambda =[{\lambda }_1,{\lambda }_2,\cdots {\lambda }_m{]}^T\ge 0$;而$\mathbf{v}$可以大于等于0，也可以小于等于0.

• 意义解释：这其实是一种添加惩罚的方式。如果约束条件$f_i(\mathbf{x})\ge 0$,那么就相当于加了一个正数($\lambda \ge 0$)，使得拉格朗日函数变大，而我们的目标在于最小化该函数，因此就会强迫约束条件小于等于0。

2.2 函数的主问题分析

$$L(\mathbf{x},\lambda ,\mathbf{v})=f_0(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{f}_i(\mathbf{x})+\sum _{i=1}^p{v}_i{h}_i(\mathbf{x})$$

• 主问题：
  p ∗ = min ⁡ x { max ⁡ ( λ , v ) L ( x , λ , v ) ) } p^*=\min_\mathbf{x}\{\max_{\mathbf(\lambda,v)}L(\mathbf{x,\lambda,v}))\} p∗=xmin​{ (λ,v)max​L(x,λ,v))}

• 主问题分析：我们的目标其实是${\min }_{\mathbf{x}}{f}_0(\mathbf{x})$,即我们要求函数$f_0(\mathbf{x})$的最小值，而不是$maxL$的最小值。那么原函数和$maxL$之间有什么关系呢？

  我们单独看max的部分：
  $$\underset{\lambda ,v}{\max }L(\mathrm{x},\lambda ,v)=f_0(\mathrm{x})+\underset{\lambda ,v}{\max }\left(\sum _{i=1}^m{\lambda }_i{f}_i(\mathrm{x})+\sum _{i=1}^p{v}_i{h}_i(\mathrm{x})\right)$$
  在这个函数中，$\lambda$和$v$是变量。当x在可行域范围内时，$f_i(\mathbf{x})\le 0,\lambda \ge 0$,所以括号中第一项小于等于0；第二项中由于$h_i(\mathbf{x})=0$,所以第二项也为0。这样也就是说${\max }_{\lambda ,v}({\sum }_{i=1}^m{\lambda }_i{f}_i(\mathrm{x})+{\sum }_{i=1}^p{v}_{}$