增广拉格朗日乘子法
关于拉格朗日的定义,具体见:http://mp.blog.csdn.net/mdeditor/79341632
概述
增广拉格朗日乘子法(Augmented Lagrange Method),是用于解决等式约束条件下的优化问题。相对于朴素拉格朗日,它增加对偶上升法的鲁棒性和放松函数f的强凸约束,使得转换后的问题能够更容易求解,不至于因条件数变大不好求
形式:在朴素拉格朗日形式上加上一个惩罚项
ρ2‖φ(x)‖22
ρ
2
‖
φ
(
x
)
‖
2
2
s.t.minf(x)φ(x)=0}⇒L(x,λ)=f(x)+λφ(x)+ρ2‖φ(x)‖22,其中惩罚因子 ρ>0(1)
(1)
min
f
(
x
)
s
.
t
.
φ
(
x
)
=
0
}
⇒
L
(
x
,
λ
)
=
f
(
x
)
+
λ
φ
(
x
)
+
ρ
2
‖
φ
(
x
)
‖
2
2
,
其中惩罚因子
ρ
>
0
关于范数,见: http://blog.csdn.net/Michael__Corleone/article/details/75213123
更新迭代
- 假设 λk λ k 为当前 k k 轮迭代的对偶问题最优解
- 求解 : xk+1=argminxL(x,λk) x k + 1 = arg min x L ( x , λ k ) ,其中 L(x,λ) L ( x , λ ) 定义如上(1)式
- 梯度上升法更新 λ λ : λk+1=λk+α⋅∂L(x,λ)∂λ|x=xk+1,λ=λk λ k + 1 = λ k + α ⋅ ∂ L ( x , λ ) ∂ λ | x = x k + 1 , λ = λ k
ADMM(Alternating Direction Method of Multipliers)
概述
交替方向乘子算法:将对偶上升法的可分解性和乘子法的上界收敛属性融合在一起的算法