ML笔记(2)——拉格朗日对偶性

最新推荐文章于 2022-09-18 14:08:47 发布

sunshine@BIT

最新推荐文章于 2022-09-18 14:08:47 发布

阅读量750

点赞数

分类专栏：小白ML笔记

本文链接：https://blog.csdn.net/weixin_38312738/article/details/84702477

版权

小白ML笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

拉格朗日对偶性

之前对拉格朗日对偶性没有理解，再做一次笔记

1. 原始问题（原始优化问题）

考虑带约束的最优化问题（原始优化问题，也称原始问题）

$\begin{matrix} \underset{x\in R^n }{min}f(x)\\ s.t.\: \: \: c_i(x) \leqslant 0 \\ h_j(x) = 0 \end{matrix}$

引入拉格朗日函数

$L(x,\alpha,\beta) = f(x) + \sum_i^k\alpha_ic_i(x) + \sum_j^l\beta_jh_j(x)$

则考虑函数 $\theta_p(x) = \underset{\alpha,\beta:\alpha_i\geqslant 0}{max}L(x,\alpha,\beta)$

拉格朗日函数的极大值 $\underset{\alpha,\beta:\alpha_i\geqslant 0}{max}L(x,\alpha,\beta)$ 与f(x)的值相等，（若满足约束，则拉格朗日函数只能小于等于f(x)，否则，拉格朗日函数无限变大）,因此可知

$\theta_p(x) = \underset{\alpha,\beta:\alpha_i\geqslant 0}{max}L(x,\alpha,\beta) = f(x)$

那么原始优化问题可以进行转化

${\color{Red} \left\{\begin{matrix} min\, f(x))\,\\ s.t.\,\,c_i(x) \leqslant 0 \\ h_j(x) =0 \end{matrix}\right.\,\,\,\Rightarrow\,\,\underset{x}{min}\,\underset{\alpha,\beta:\alpha_i\geqslant 0}{max}\,L(x,\alpha,\beta) }$

则该问题转化为极小极大问题，定义上述原始问题的最优解为p*

2. 对偶问题

定义问题 $\theta_D(x) = \underset{x}{min}L(x,\alpha,\beta)$

则问题

$\underset{\alpha,\beta:\alpha_i\geqslant 0}{max}\theta_D(x) = \underset{\alpha,\beta:\alpha_i\geqslant 0}{max}\underset{x}{min}L(x,\alpha,\beta)$

为广义拉格朗日函数的对偶问题，该问题为一个带约束的优化问题：

$\left\{\begin{matrix} \underset{\alpha,\beta}{max}\,\theta_D(x) = \underset{\alpha,\beta}{max}\underset{x}{min}\,L(x,\alpha,\beta)\\ s.t.:\,\,\,\alpha_i\geqslant 0 \end{matrix}\right.$

该问题的解d*称为对偶问题的解

3. 对偶问题与原始问题解的关系

1. 普遍关系：

设有任意一组x,a,b

$\begin{align*} d^* = \underset{\alpha,\beta:\alpha_i \geqslant 0}{max}\theta_D(x) = \underset{\alpha,\beta:\alpha_i \geqslant 0}{max}\underset{x}{min}\,L(x,\alpha,\beta) \leqslant L(x,\alpha,\beta) \\\leqslant \underset{x}{min}\underset{\alpha,\beta:\alpha_i \geqslant 0}{max}\,L(x,\alpha,\beta)=p^* \end{align*}$

2.特殊关系

当

不等式约束条件 $c_i(x) \leqslant 0$ 为凸函数
存在点x*使得 $c_i(x^*) \leqslant 0$ 成立

则满足KKT条件的解同时为d*与p*，也就是原始问题与对偶问题有同样的解。可将原始问题转化为对偶问题求解。

KKT条件：

$\left\{\begin{matrix} \triangledown _x L(x,\alpha,\beta)=0\\ \triangledown _\alpha L(x,\alpha,\beta)=0\\ \triangledown _\beta L(x,\alpha,\beta)=0\\ \alpha_i^*c_i(x^*) = 0\\ c_i(x) \leqslant 0\\ \alpha_i^* \geqslant 0\\ h_j(x^*)=0 \end{matrix}\right.$