增广拉格朗日乘子法(Augmented Lagrange Method)
在了解增广拉格朗日乘子法之前，我们先了解一下基本拉格朗日乘子法
拉格朗日乘子法
基本的拉格朗日乘子法，常用于解决函数在约束条件下的极值问题，即：
m
i
n
f
(
x
)
s
u
b
j
e
c
t
t
o
h
(
x
)
=
0
i
≤
l
min \ \quad f(x) \\ subject \ to \quad h(x)=0 \quad i \leq l
min f(x)subject toh(x)=0i≤l
拉格朗日乘子法的主要思想是引入拉格朗日乘子
λ
\lambda
λ ，将约束条件与目标函数结合在一起，转化为一个无约束问题进行求解
m
i
n
L
(
x
,
λ
)
=
f
(
x
)
+
∑
i
l
λ
i
h
i
(
x
)
min \ \quad L(x,\lambda )=f(x) + \sum_{i}^{l}\lambda_i h_i(x)
min L(x,λ)=f(x)+i∑lλihi(x)
然后对
x
,
λ
x, \lambda
x,λ 求偏导为0的解。
增广拉格朗日乘子法
在拉格朗日乘子法的基础上，增加了惩罚项
m
i
n
L
(
x
,
λ
)
=
f
(
x
)
+
∑
i
l
λ
i
h
i
(
x
)
+
ρ
2
∣
∣
h
(
x
)
∣
∣
2
2
min \ \quad L(x,\lambda )=f(x) + \sum_{i}^{l}\lambda_i h_i(x) + \frac{\rho}{2}||h(x)||_2^2
min L(x,λ)=f(x)+i∑lλihi(x)+2ρ∣∣h(x)∣∣22
采用更新迭代的方式求出最优解
7022
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
