20200812-拉格朗日对偶函数为什么是凹的呢？

最新推荐文章于 2021-04-08 01:34:01 发布

小P同学L

最新推荐文章于 2021-04-08 01:34:01 发布

阅读量2.7k

点赞数 5

分类专栏：凸优化

本文链接：https://blog.csdn.net/pacificL/article/details/107969322

版权

凸优化专栏收录该内容

3 篇文章

订阅专栏

本文探讨了拉格朗日对偶函数的凹性原理，即使原问题非凸，对偶函数仍保持凹性。通过对逐点下确界的理解及仿射函数性质的分析，阐明了这一特性，并提供了详细的数学证明。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在写一个非凸转为凸的问题，就想起来拉格朗日对偶了。之前一直都不明白为什么原问题是非凸的，它的拉格朗日对偶函数依旧是凹的。于是再看到相关资料和博客之后，终于弄明白了，现在拿出来分享一下。

参考资料：

为什么拉格朗日对偶函数一定是凹函数(逐点下确界)

Convex Optimization: Chapter-5

考虑一个问题：

$\begin{array}{*{20}{l}} {\mathop {\min }\limits_x }&{{f_0}(x)}\\ {s.t.}&\begin{array}{l} {f_i}(x) \le 0,{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} i = 1,2, \ldots ,m\\ {h_i}(x) = 0,{\kern 1pt} {\kern 1pt} {\kern 1pt} i = 1,2, \ldots ,p \end{array} \end{array}$

拉格朗日函数为

$L(x,\lambda,v)=f_0(x)+\sum^m_{i=1}\lambda_if_i(x)+\sum^p_{i=1}v_ih_i(x)$

这里想提醒一下，拉格朗日函数的基本思想就是将约束通过加权和的形式添加到目标函数中，将问题变为无约束问题。

拉格朗日对偶函数为

$g(\lambda,v)=\inf\limits_{x\in\mathcal{D}}L(x,\lambda,v)=\inf\limits_{x\in\mathcal{D}}\left(f_0(x)+\sum^m_{i=1}\lambda_if_i(x)+\sum^p_{i=1}v_ih_i(x) \right )$

在Convex Optimization的第五章中说到，因为对偶函数是仿射函数的逐点下确界，所以无论原问题是否为凸，其对偶函数必定为凹。看到这我是蒙的，尽管可以直观的感受这是对的，但是我依旧没法说服自己。

不过在这里还是要注意一点的是，函数 $g(\lambda,v)$ 是关于参数 $\lambda$ 和 $v$ 的仿射函数，这点十分重要。

正是因为函数 $g(\lambda,v)$ 为仿射函数，因此其是凸的。因此按照凸函数的定义，有下面的不等式。

$g(\alpha(\lambda_1,v_1)+(1-\alpha)(\lambda_2,v_2))\leq\alpha g(\lambda_1,v_1)+(1-\alpha)g(\lambda_2,v_2)$

其实，到这里就应该弄清楚我们的问题了。但是，我仍然对这个过程有点疑惑。于是参照第一个博客的写法，可以得到一下的证明。

${g(\alpha ({\lambda ^1},{v^1}) + (1 - \alpha )({\lambda ^2},{v^2}))}={g(\alpha {\lambda ^1} + (1 - \alpha ){\lambda ^2},\alpha {v^1} + (1 - \alpha ){v^2})}$

$= \mathop {\inf }\limits_{x \in {\rm{{\cal D}}}} \left( {{f_0}(x) + \sum\limits_{i = 1}^m {(\alpha \lambda _i^1 + (1 - \alpha )\lambda _i^2)} {f_i}(x) + \sum\limits_{i = 1}^p {(\alpha v_i^1 + (1 - \alpha )v_i^2)} {h_i}(x)} \right)$

$\le \mathop {\inf }\limits_{x \in {\rm{{\cal D}}}} \left( {{f_0}(x) + \sum\limits_{i = 1}^m {\alpha \lambda _i^1} {f_i}(x) + \sum\limits_{i = 1}^p {\alpha v_i^1} {h_i}(x) + \sum\limits_{i = 1}^m {(1 - \alpha )\lambda _i^2} {f_i}(x) + \sum\limits_{i = 1}^p {(1 - \alpha )v_i^2} {h_i}(x)} \right)$

$= \mathop {\inf }\limits_{x \in {\rm{{\cal D}}}} \left( {(\alpha + (1 - \alpha )){f_0}(x) + \sum\limits_{i = 1}^m {\alpha \lambda _i^1} {f_i}(x) + \sum\limits_{i = 1}^p {\alpha v_i^1} {h_i}(x) + \sum\limits_{i = 1}^m {(1 - \alpha )\lambda _i^2} {f_i}(x) + \sum\limits_{i = 1}^p {(1 - \alpha )v_i^2} {h_i}(x)} \right)$

$= \mathop {\inf }\limits_{x \in {\rm{{\cal D}}}} \left( {\alpha {f_0}(x) + \sum\limits_{i = 1}^m {\alpha \lambda _i^1} {f_i}(x) + \sum\limits_{i = 1}^p {\alpha v_i^1} {h_i}(x)} \right) + \mathop {\inf }\limits_{x \in {\rm{{\cal D}}}} \left( {(1 - \alpha ){f_0}(x) + \sum\limits_{i = 1}^m {(1 - \alpha )\lambda _i^2} {f_i}(x) + \sum\limits_{i = 1}^p {(1 - \alpha )v_i^2} {h_i}(x)} \right)$