拉格朗日对偶性

yueyueniao96

于 2017-04-09 18:39:59 发布

阅读量554

点赞数 2

本文链接：https://blog.csdn.net/yueyueniao96/article/details/69870162

版权

在解决最优化问题的时候，常常利用拉格朗日对偶性(Lagrange duality)将原始问题转换成对偶问题，通过解对偶问题而得到原始问题的解。

1．原始问题

假设 $f(x),c_i(x),h_j(x)$ 是定义在 $R^n$ 上的连续可微函数。考虑约束最优化问题：

m i n x \in R n f (x) s . t . c i (x) \leq 0, i = 1, 2, \cdot \cdot \cdot, k h j (x) = 0, j = 1, 2, \cdot \cdot \cdot, l

$\underset{x \in R^n}{min} \quad f(x)\\ s.t. \quad c_i(x) \leq 0, \quad i=1,2, \cdot\cdot\cdot,k \\ h_j(x)=0, \quad j=1,2, \cdot\cdot\cdot,l$
称此问题为原始最优化问题。
引入广义拉格朗日函数(Generalized Lagrange Function)

L (x, α, β) = f (x) + \sum i = 1 k α i c i (x) + \sum j = 1 l β i h i (x)

$L(x,\alpha,\beta)=f(x)+\sum_{i=1}^{k}\alpha_i c_i(x)+\sum_{j=1}^{l}\beta_i h_i(x)$
这里

x=(x(1),x(2),⋅⋅⋅,x(n))T∈Rn $x = (x^{(1)},x^{(2)}, \cdot\cdot\cdot,x^{(n)})^T \in R^n$ ，其中

αi,βi $\alpha_i,\beta_i$ 是拉格朗日乘子，

ai≥0 $a_i \geq 0$ 。考虑

x $x$ 的函数：

θ p (x) = m a x α, β : α i \geq 0 L (x, α, β)

$\theta_p (x)=\underset{\alpha,\beta:\alpha_i \geq 0}{max} L(x,\alpha,\beta)$
下标P表示原始问题（premier）
原始问题的解等价于

m i n x θ P (x) = m i n x m a x α, β : α i \geq 0 L (x, α, β)

$\underset{x}{min}\theta_P (x) = \underset{x}{min} \underset{\alpha,\beta:\alpha_i \geq 0}{max} L(x,\alpha,\beta)$
换句话说原始问题等价于广义拉格朗日函数的极小极大问题。（详细证明可见《统计学习方法》）
为了表示方便定义原始问题的最优值：

p * = m i n x θ p (x)

$p^*=\underset{x}{min} \theta_p(x)$

2. 对偶问题

定义 $\theta_D(\alpha,\beta)=min L(x,\alpha,\beta)$
再考虑极大化上述问题，即：

m a x α, β : α i \geq 0 θ D (α, β) = m a x α, β : α i \geq 0 m i n x L (x, α, β)

$\underset{\alpha,\beta:\alpha_i \geq 0}{max}\theta_D(\alpha,\beta)= \underset{\alpha,\beta:\alpha_i \geq 0}{max} \underset{x}{min} L(x,\alpha,\beta)$
广义拉格朗日函数的极大极小问题表示为约束最优化问题：

m a x α, β θ D (α, β) = m a x α, β m i n x L (x, α, β) s . t . α i \geq 0, i = 1, 2, \cdot \cdot \cdot, k

$\underset{\alpha,\beta}{max}\theta_D(\alpha,\beta)= \underset{\alpha,\beta}{max} \underset{x}{min} L(x,\alpha,\beta) \\ s.t. \quad \alpha_i \geq 0, \quad i=1,2,\cdot\cdot\cdot,k$
称为原始问题的对偶问题。定义对偶问题的最优解：

d * = m a x α, β : α i \geq 0

$d^* = \underset{\alpha,\beta:\alpha_i \geq 0}{max}$

3. 原始问题和对偶问题的关系

在如下假设下原始问题和对偶问题的最优解相等。
（1）假设函数 $f(x)$ 和 $c_i(x)$ 是凸函数， $h_j(x)$ 是仿射函数，并且 $c_i(x)$ 是存在的，对所有 $c_i(x)<0$ ,则存在 $x^*,\alpha^*,\beta^*,$ 是 $x^*$ 是原始问题的解， $\alpha^*,\beta^*$ 是对偶问题的解，并且
$p^*=d^* =L(x^*,\alpha^*,\beta^*)$
（2）假设函数 $f(x)$ 和 $c_i(x)$ 是凸函数， $h_j(x)$ 是仿射函数，并且 $c_i(x)$ 是存在的，对所有 $c_i(x)<0$ ,则 $x^*,\alpha^*,\beta^*$ 是原始问题和对偶问题的解的充分必要条件是 $x^*,\alpha^*,\beta^*$ 满足下面的KKT(Karush-Kuhn-Tucker)条件:

\nabla x L (x *, α *, β *) = 0 \nabla α L (x *, α *, β *) = 0 \nabla β L (x *, α *, β *) = 0 α * i c i (x *) = 0, i = 1, 2, \cdot \cdot \cdot, k c i (x *) \leq 0, i = 1, 2, \cdot \cdot \cdot, k α * i \geq 0, i = 1, 2, \cdot \cdot \cdot, k h j (x *) = 0, j = 1, 2, \cdot \cdot \cdot, k

$\nabla_x L(x^*,\alpha^*,\beta^*)=0 \\ \nabla_\alpha L(x^*,\alpha^*,\beta^*)=0 \\ \nabla_\beta L(x^*,\alpha^*,\beta^*)=0 \\ \alpha_i^*c_i(x^*)=0 , i=1,2,\cdot\cdot\cdot,k \\ c_i(x^*) \leq 0, i=1,2,\cdot\cdot\cdot,k \\ \alpha_i^* \geq 0, i=1,2,\cdot\cdot\cdot,k \\ h_j(x^*)=0, j=1,2,\cdot\cdot\cdot,k$

yueyueniao96

关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
拉格朗日对偶性

拉格朗日对偶性在解决最优化问题的时候，常常利用拉格朗日对偶性(Lagrange duality)将原始问题转换成对偶问题，通过解对偶问题而得到原始问题的解。 1．原始问题假设f(x),ci(x),hj(x)f(x),c_i(x),h_j(x)是定义在RnR^n上的连续可微函数。考虑约束最优化问题： minx∈Rnf(x)s.t.ci(x)≤0,i=1,2,⋅⋅⋅,khj(x)=0,j=1
复制链接

扫一扫