Boyd 凸优化教材习题 等价凸问题答案翻译

等价凸问题

试证明以下三个凸问题是等价的。详细解释每个问题的解如何从其他问题的解中得出。这些问题的数据是:矩阵 A ∈ R m × n (列向量为 a i T ) A\in\mathbf{R}^{m\times n}\text{(列向量为}a^T_i\text{)} ARm×n(列向量为aiT),矢量 b ∈ R m b\in\mathbf{R}^m bRm,常数 M > 0 M>0 M>0
(a) 鲁棒最小二乘问题
m i n i m i z e ∑ i = 1 m ϕ ( a i T x − b i ) \mathbf{minimize}\quad {\sum^m_{i=1}{\phi(a_i^Tx-b_i)}} minimizei=1mϕ(aiTxbi)
其中, x ∈ R n x\in\mathbf{R}^n xRn,函数 ϕ : R → R \phi:\mathbf{R}\to\mathbf{R} ϕ:RR定义如下
ϕ ( u ) = { u 2 , ∣ u ∣ ≤ M , M ( 2 ∣ u ∣ − M ) , ∣ u ∣ > M \phi(u)= \begin{cases} u^2, &|u|\le M,\\ M(2|u|-M), &|u|>M\\ \end{cases} ϕ(u)={u2,M(2uM),uM,u>M

(b) 变权最小二乘问题
m i n i m i z e ∑ i = 1 m ( a i T x − b i ) 2 w i + 1 + M 2 1 T w s . t . w ≥ 0 \begin{aligned} \mathbf{minimize}\quad &{\sum^m_{i=1}{\frac{(a_i^Tx-b_i)^2}{w_i+1}}+M^2\mathbf{1^T}w}\\ \mathbf{s.t.}\qquad &w\ge 0 \end{aligned} minimizes.t.i=1mwi+1(aiTxbi)2+M21Tww0
其中, x ∈ R n x\in\mathbf{R}^n xRn w ∈ R m w\in\mathbf{R}^m wRm,问题的域 D = { ( x , w ) ∈ R n × R m ∣ w ≻ − 1 } D=\{(x,w)\in \mathbf{R}^n\times\mathbf{R}^m|w\succ -1\} D={(x,w)Rn×Rmw1}
(提示,固定 x x x,以 w w w为优化变量考虑该问题以建立与问题(a)的联系。)

(c) 一个二次规划问题
m i n i m i z e ∑ i = 1 m ( u i 2 + 2 M v i ) s . t . − u − v ⪯ A x − b ⪯ u + v 0 ⪯ u ⪯ M 1 v ⪰ 0 \begin{aligned} \mathbf{minimize}\quad &{\sum^m_{i=1}{(u_i^2+2Mv_i)}}\\ \mathbf{s.t.}\qquad &-u-v\preceq Ax-b\preceq u+v\\ &0\preceq u\preceq M\mathbf{1}\\ &v\succeq 0\\ \end{aligned} minimizes.t.i=1m(ui2+2Mvi)uvAxbu+v0uM1v0

解:
(a)-(b)的等价性:对问题(b)的目标函数每个分量考虑,
m i n i m i z e u 2 w + 1 + M 2 w s . t . w ≥ 0 \begin{aligned} \mathbf{minimize}\quad &{\frac{u^2}{w+1}+M^2w}\\ \mathbf{s.t.}\qquad &w\ge 0 \end{aligned} minimizes.t.w+1u2+M2ww0
关于 w w w求导得到其最优点为
w = { ∣ u ∣ M − 1 , ∣ u ∣ ≥ M 0 , otherwise w= \begin{cases} \dfrac{|u|}{M}-1, &|u|\ge M\\[2ex] 0,&\text{otherwise}\\ \end{cases} w=Mu1,0,uMotherwise
最优值为
inf ⁡ w ⪰ 0 ( u 2 w + 1 + M 2 w ) = { M ( 2 ∣ u ∣ − M ) , ∣ u ∣ ≥ M u 2 , otherwise \inf_{w\succeq 0}(\frac{u^2}{w+1}+M^2w)= \begin{cases} M(2|u|-M), &|u|\ge M\\ u^2,&\text{otherwise}\\ \end{cases} w0inf(w+1u2+M2w)={M(2uM),u2,uMotherwise
由此可见,(a)(b)两个问题关于 x x x的最优值是相同的。借助上面的计算,(b)的最优点 w w w
w i = { ∣ a i T x − b i ∣ M − 1 , ∣ a i T x − b i ∣ ≥ M 0 , otherwise w_i= \begin{cases} \dfrac{|a_i^Tx-b_i|}{M}-1, &|a_i^Tx-b_i|\ge M\\[2ex] 0,&\text{otherwise}\\ \end{cases} wi=MaiTxbi1,0,aiTxbiMotherwise

(a)和(c)的等价性:固定问题(c)中的 x x x进行考虑:
首先,在函数的最优点我们必有 u i + v i = ∣ a i T − b i ∣ u_i+v_i=|a_i^T-b_i| ui+vi=aiTbi。因为,如果最优点处不满足等号,也就是不等号严格成立 u i + v i > ∣ a i T x − b i ∣ ≥ 0 u_i+v_i>|a_i^Tx-b_i|\ge 0 ui+vi>aiTxbi0 u i , v i u_i,v_i ui,vi不全为0,在此基础上在可行域内任意减小 u i , v i u_i,v_i ui,vi其中的某一个,都能使目标函数值进一步减小,也就是说 u i , v i u_i,v_i ui,vi并不是最优点。有了这个事实,我们可以用 u i u_i ui表示 v i v_i vi
v i = ∣ a i T x − b i ∣ − u i v_i=|a_i^Tx-b_i|-u_i vi=aiTxbiui
把问题(c)中的 v v v消去,得到等价的问题
m i n i m i z e ∑ i = 1 m ( u i 2 + 2 M ∣ a i T x − b i ∣ − 2 M u i ) s . t . 0 ⪯ u ⪯ M 1 u i ⪯ ∣ a i T x − b i ∣ \begin{aligned} \mathbf{minimize}\quad &{\sum^m_{i=1}{(u_i^2+2M|a_i^Tx-b_i|-2Mu_i)}}\\ \mathbf{s.t.}\qquad &0\preceq u\preceq M\mathbf{1}\\ &u_i\preceq |a_i^Tx-b_i|\\ \end{aligned} minimizes.t.i=1m(ui2+2MaiTxbi2Mui)0uM1uiaiTxbi
两个不等式约束也可以写成 0 ≤ u i ≤ min ⁡ M , ∣ a i T x − b i ∣ 0\le u_i\le \min{M,|a_i^Tx-b_i|} 0uiminM,aiTxbi。该等价问题的目标函数每个分量是关于 u i u_i ui的一元二次函数,所以我们有,

  • ∣ a i T x − b i ∣ ≤ M |a_i^Tx-b_i|\le M aiTxbiM时,最优的 u i u_i ui ∣ a i T x − b i ∣ |a_i^Tx-b_i| aiTxbi,此时目标函数简化为 ∣ a i T x − b i ∣ 2 |a_i^Tx-b_i|^2 aiTxbi2
  • ∣ a i T x − b i ∣ > M |a_i^Tx-b_i|> M aiTxbi>M时,最优的 u i u_i ui M M M,此时目标函数简化为 2 M ∣ a i T x − b i ∣ − M 2 2M|a_i^Tx-b_i|-M^2 2MaiTxbiM2

所以(c)的最优值由 ∑ i = 1 m ϕ ( a i T x − b i ) \sum^m_{i=1}{\phi(a_i^Tx-b_i)} i=1mϕ(aiTxbi)给出,即(a)(c)等价。

  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值