等价凸问题
试证明以下三个凸问题是等价的。详细解释每个问题的解如何从其他问题的解中得出。这些问题的数据是:矩阵
A
∈
R
m
×
n
(列向量为
a
i
T
)
A\in\mathbf{R}^{m\times n}\text{(列向量为}a^T_i\text{)}
A∈Rm×n(列向量为aiT),矢量
b
∈
R
m
b\in\mathbf{R}^m
b∈Rm,常数
M
>
0
M>0
M>0。
(a) 鲁棒最小二乘问题
m
i
n
i
m
i
z
e
∑
i
=
1
m
ϕ
(
a
i
T
x
−
b
i
)
\mathbf{minimize}\quad {\sum^m_{i=1}{\phi(a_i^Tx-b_i)}}
minimizei=1∑mϕ(aiTx−bi)
其中,
x
∈
R
n
x\in\mathbf{R}^n
x∈Rn,函数
ϕ
:
R
→
R
\phi:\mathbf{R}\to\mathbf{R}
ϕ:R→R定义如下
ϕ
(
u
)
=
{
u
2
,
∣
u
∣
≤
M
,
M
(
2
∣
u
∣
−
M
)
,
∣
u
∣
>
M
\phi(u)= \begin{cases} u^2, &|u|\le M,\\ M(2|u|-M), &|u|>M\\ \end{cases}
ϕ(u)={u2,M(2∣u∣−M),∣u∣≤M,∣u∣>M
(b) 变权最小二乘问题
m
i
n
i
m
i
z
e
∑
i
=
1
m
(
a
i
T
x
−
b
i
)
2
w
i
+
1
+
M
2
1
T
w
s
.
t
.
w
≥
0
\begin{aligned} \mathbf{minimize}\quad &{\sum^m_{i=1}{\frac{(a_i^Tx-b_i)^2}{w_i+1}}+M^2\mathbf{1^T}w}\\ \mathbf{s.t.}\qquad &w\ge 0 \end{aligned}
minimizes.t.i=1∑mwi+1(aiTx−bi)2+M21Tww≥0
其中,
x
∈
R
n
x\in\mathbf{R}^n
x∈Rn,
w
∈
R
m
w\in\mathbf{R}^m
w∈Rm,问题的域
D
=
{
(
x
,
w
)
∈
R
n
×
R
m
∣
w
≻
−
1
}
D=\{(x,w)\in \mathbf{R}^n\times\mathbf{R}^m|w\succ -1\}
D={(x,w)∈Rn×Rm∣w≻−1}
(提示,固定
x
x
x,以
w
w
w为优化变量考虑该问题以建立与问题(a)的联系。)
(c) 一个二次规划问题
m
i
n
i
m
i
z
e
∑
i
=
1
m
(
u
i
2
+
2
M
v
i
)
s
.
t
.
−
u
−
v
⪯
A
x
−
b
⪯
u
+
v
0
⪯
u
⪯
M
1
v
⪰
0
\begin{aligned} \mathbf{minimize}\quad &{\sum^m_{i=1}{(u_i^2+2Mv_i)}}\\ \mathbf{s.t.}\qquad &-u-v\preceq Ax-b\preceq u+v\\ &0\preceq u\preceq M\mathbf{1}\\ &v\succeq 0\\ \end{aligned}
minimizes.t.i=1∑m(ui2+2Mvi)−u−v⪯Ax−b⪯u+v0⪯u⪯M1v⪰0
解:
(a)-(b)的等价性:对问题(b)的目标函数每个分量考虑,
m
i
n
i
m
i
z
e
u
2
w
+
1
+
M
2
w
s
.
t
.
w
≥
0
\begin{aligned} \mathbf{minimize}\quad &{\frac{u^2}{w+1}+M^2w}\\ \mathbf{s.t.}\qquad &w\ge 0 \end{aligned}
minimizes.t.w+1u2+M2ww≥0
关于
w
w
w求导得到其最优点为
w
=
{
∣
u
∣
M
−
1
,
∣
u
∣
≥
M
0
,
otherwise
w= \begin{cases} \dfrac{|u|}{M}-1, &|u|\ge M\\[2ex] 0,&\text{otherwise}\\ \end{cases}
w=⎩⎪⎨⎪⎧M∣u∣−1,0,∣u∣≥Motherwise
最优值为
inf
w
⪰
0
(
u
2
w
+
1
+
M
2
w
)
=
{
M
(
2
∣
u
∣
−
M
)
,
∣
u
∣
≥
M
u
2
,
otherwise
\inf_{w\succeq 0}(\frac{u^2}{w+1}+M^2w)= \begin{cases} M(2|u|-M), &|u|\ge M\\ u^2,&\text{otherwise}\\ \end{cases}
w⪰0inf(w+1u2+M2w)={M(2∣u∣−M),u2,∣u∣≥Motherwise
由此可见,(a)(b)两个问题关于
x
x
x的最优值是相同的。借助上面的计算,(b)的最优点
w
w
w为
w
i
=
{
∣
a
i
T
x
−
b
i
∣
M
−
1
,
∣
a
i
T
x
−
b
i
∣
≥
M
0
,
otherwise
w_i= \begin{cases} \dfrac{|a_i^Tx-b_i|}{M}-1, &|a_i^Tx-b_i|\ge M\\[2ex] 0,&\text{otherwise}\\ \end{cases}
wi=⎩⎪⎨⎪⎧M∣aiTx−bi∣−1,0,∣aiTx−bi∣≥Motherwise
(a)和(c)的等价性:固定问题(c)中的
x
x
x进行考虑:
首先,在函数的最优点我们必有
u
i
+
v
i
=
∣
a
i
T
−
b
i
∣
u_i+v_i=|a_i^T-b_i|
ui+vi=∣aiT−bi∣。因为,如果最优点处不满足等号,也就是不等号严格成立
u
i
+
v
i
>
∣
a
i
T
x
−
b
i
∣
≥
0
u_i+v_i>|a_i^Tx-b_i|\ge 0
ui+vi>∣aiTx−bi∣≥0,
u
i
,
v
i
u_i,v_i
ui,vi不全为0,在此基础上在可行域内任意减小
u
i
,
v
i
u_i,v_i
ui,vi其中的某一个,都能使目标函数值进一步减小,也就是说
u
i
,
v
i
u_i,v_i
ui,vi并不是最优点。有了这个事实,我们可以用
u
i
u_i
ui表示
v
i
v_i
vi:
v
i
=
∣
a
i
T
x
−
b
i
∣
−
u
i
v_i=|a_i^Tx-b_i|-u_i
vi=∣aiTx−bi∣−ui
把问题(c)中的
v
v
v消去,得到等价的问题
m
i
n
i
m
i
z
e
∑
i
=
1
m
(
u
i
2
+
2
M
∣
a
i
T
x
−
b
i
∣
−
2
M
u
i
)
s
.
t
.
0
⪯
u
⪯
M
1
u
i
⪯
∣
a
i
T
x
−
b
i
∣
\begin{aligned} \mathbf{minimize}\quad &{\sum^m_{i=1}{(u_i^2+2M|a_i^Tx-b_i|-2Mu_i)}}\\ \mathbf{s.t.}\qquad &0\preceq u\preceq M\mathbf{1}\\ &u_i\preceq |a_i^Tx-b_i|\\ \end{aligned}
minimizes.t.i=1∑m(ui2+2M∣aiTx−bi∣−2Mui)0⪯u⪯M1ui⪯∣aiTx−bi∣
两个不等式约束也可以写成
0
≤
u
i
≤
min
M
,
∣
a
i
T
x
−
b
i
∣
0\le u_i\le \min{M,|a_i^Tx-b_i|}
0≤ui≤minM,∣aiTx−bi∣。该等价问题的目标函数每个分量是关于
u
i
u_i
ui的一元二次函数,所以我们有,
- ∣ a i T x − b i ∣ ≤ M |a_i^Tx-b_i|\le M ∣aiTx−bi∣≤M时,最优的 u i u_i ui为 ∣ a i T x − b i ∣ |a_i^Tx-b_i| ∣aiTx−bi∣,此时目标函数简化为 ∣ a i T x − b i ∣ 2 |a_i^Tx-b_i|^2 ∣aiTx−bi∣2;
- ∣ a i T x − b i ∣ > M |a_i^Tx-b_i|> M ∣aiTx−bi∣>M时,最优的 u i u_i ui取 M M M,此时目标函数简化为 2 M ∣ a i T x − b i ∣ − M 2 2M|a_i^Tx-b_i|-M^2 2M∣aiTx−bi∣−M2;
所以(c)的最优值由 ∑ i = 1 m ϕ ( a i T x − b i ) \sum^m_{i=1}{\phi(a_i^Tx-b_i)} ∑i=1mϕ(aiTx−bi)给出,即(a)(c)等价。