Boyd 凸优化教材习题 等价凸问题答案翻译

等价凸问题

试证明以下三个凸问题是等价的。详细解释每个问题的解如何从其他问题的解中得出。这些问题的数据是:矩阵 A ∈ R m × n (列向量为 a i T ) A\in\mathbf{R}^{m\times n}\text{(列向量为}a^T_i\text{)} ARm×n(列向量为aiT),矢量 b ∈ R m b\in\mathbf{R}^m bRm,常数 M > 0 M>0 M>0
(a) 鲁棒最小二乘问题
m i n i m i z e ∑ i = 1 m ϕ ( a i T x − b i ) \mathbf{minimize}\quad {\sum^m_{i=1}{\phi(a_i^Tx-b_i)}} minimizei=1mϕ(aiTxbi)
其中, x ∈ R n x\in\mathbf{R}^n xRn,函数 ϕ : R → R \phi:\mathbf{R}\to\mathbf{R} ϕ:RR定义如下
ϕ ( u ) = { u 2 , ∣ u ∣ ≤ M , M ( 2 ∣ u ∣ − M ) , ∣ u ∣ > M \phi(u)= \begin{cases} u^2, &|u|\le M,\\ M(2|u|-M), &|u|>M\\ \end{cases} ϕ(u)={u2,M(2uM),uM,u>M

(b) 变权最小二乘问题
m i n i m i z e ∑ i = 1 m ( a i T x − b i ) 2 w i + 1 + M 2 1 T w s . t . w ≥ 0 \begin{aligned} \mathbf{minimize}\quad &{\sum^m_{i=1}{\frac{(a_i^Tx-b_i)^2}{w_i+1}}+M^2\mathbf{1^T}w}\\ \mathbf{s.t.}\qquad &w\ge 0 \end{aligned} minimizes.t.i=1mwi+1(aiTxbi)2+M21Tww0
其中, x ∈ R n x\in\mathbf{R}^n xRn w ∈ R m w\in\mathbf{R}^m wRm,问题的域 D = { ( x , w ) ∈ R n × R m ∣ w ≻ − 1 } D=\{(x,w)\in \mathbf{R}^n\times\mathbf{R}^m|w\succ -1\} D={(x,w)Rn×Rmw1}
(提示,固定 x x x,以 w w w为优化变量考虑该问题以建立与问题(a)的联系。)

(c) 一个二次规划问题
m i n i m i z e ∑ i = 1 m ( u i 2 + 2 M v i ) s . t . − u − v ⪯ A x − b ⪯ u + v 0 ⪯ u ⪯ M 1 v ⪰ 0 \begin{aligned} \mathbf{minimize}\quad &{\sum^m_{i=1}{(u_i^2+2Mv_i)}}\\ \mathbf{s.t.}\qquad &-u-v\preceq Ax-b\preceq u+v\\ &0\preceq u\preceq M\mathbf{1}\\ &v\succeq 0\\ \end{aligned} minimizes.t.i=1m(ui2+2Mvi)uvAxbu+v0uM1v0

解:
(a)-(b)的等价性:对问题(b)的目标函数每个分量考虑,
m i n i m i z e u 2 w + 1 + M 2 w s . t . w ≥ 0 \begin{aligned} \mathbf{minimize}\quad &{\frac{u^2}{w+1}+M^2w}\\ \mathbf{s.t.}\qquad &w\ge 0 \end{aligned} minimizes.t.w+1u2+M2ww0
关于 w w w求导得到其最优点为
w = { ∣ u ∣ M − 1 , ∣ u ∣ ≥ M 0 , otherwise w= \begin{cases} \dfrac{|u|}{M}-1, &|u|\ge M\\[2ex] 0,&\text{otherwise}\\ \end{cases} w=Mu1,0,uMotherwise
最优值为
inf ⁡ w ⪰ 0 ( u 2 w + 1 + M 2 w ) = { M ( 2 ∣ u ∣ − M ) , ∣ u ∣ ≥ M u 2 , otherwise \inf_{w\succeq 0}(\frac{u^2}{w+1}+M^2w)= \begin{cases} M(2|u|-M), &|u|\ge M\\ u^2,&\text{otherwise}\\ \end{cases} w0inf(w+1u2+M2w)={M(2uM),u2,uMotherwise
由此可见,(a)(b)两个问题关于 x x x的最优值是相同的。借助上面的计算,(b)的最优点 w w w
w i = { ∣ a i T x − b i ∣ M − 1 , ∣ a i T x − b i ∣ ≥ M 0 , otherwise w_i= \begin{cases} \dfrac{|a_i^Tx-b_i|}{M}-1, &|a_i^Tx-b_i|\ge M\\[2ex] 0,&\text{otherwise}\\ \end{cases} wi=MaiTxbi1,0,aiTxbiMotherwise

(a)和(c)的等价性:固定问题(c)中的 x x x进行考虑:
首先,在函数的最优点我们必有 u i + v i = ∣ a i T − b i ∣ u_i+v_i=|a_i^T-b_i| ui+vi=aiTbi。因为,如果最优点处不满足等号,也就是不等号严格成立 u i + v i > ∣ a i T x − b i ∣ ≥ 0 u_i+v_i>|a_i^Tx-b_i|\ge 0 ui+vi>aiTxbi0 u i , v i u_i,v_i ui,vi不全为0,在此基础上在可行域内任意减小 u i , v i u_i,v_i ui,vi其中的某一个,都能使目标函数值进一步减小,也就是说 u i , v i u_i,v_i ui,vi并不是最优点。有了这个事实,我们可以用 u i u_i ui表示 v i v_i vi
v i = ∣ a i T x − b i ∣ − u i v_i=|a_i^Tx-b_i|-u_i vi=aiTxbiui
把问题(c)中的 v v v消去,得到等价的问题
m i n i m i z e ∑ i = 1 m ( u i 2 + 2 M ∣ a i T x − b i ∣ − 2 M u i ) s . t . 0 ⪯ u ⪯ M 1 u i ⪯ ∣ a i T x − b i ∣ \begin{aligned} \mathbf{minimize}\quad &{\sum^m_{i=1}{(u_i^2+2M|a_i^Tx-b_i|-2Mu_i)}}\\ \mathbf{s.t.}\qquad &0\preceq u\preceq M\mathbf{1}\\ &u_i\preceq |a_i^Tx-b_i|\\ \end{aligned} minimizes.t.i=1m(ui2+2MaiTxbi2Mui)0uM1uiaiTxbi
两个不等式约束也可以写成 0 ≤ u i ≤ min ⁡ M , ∣ a i T x − b i ∣ 0\le u_i\le \min{M,|a_i^Tx-b_i|} 0uiminM,aiTxbi。该等价问题的目标函数每个分量是关于 u i u_i ui的一元二次函数,所以我们有,

  • ∣ a i T x − b i ∣ ≤ M |a_i^Tx-b_i|\le M aiTxbiM时,最优的 u i u_i ui ∣ a i T x − b i ∣ |a_i^Tx-b_i| aiTxbi,此时目标函数简化为 ∣ a i T x − b i ∣ 2 |a_i^Tx-b_i|^2 aiTxbi2
  • ∣ a i T x − b i ∣ > M |a_i^Tx-b_i|> M aiTxbi>M时,最优的 u i u_i ui M M M,此时目标函数简化为 2 M ∣ a i T x − b i ∣ − M 2 2M|a_i^Tx-b_i|-M^2 2MaiTxbiM2

所以(c)的最优值由 ∑ i = 1 m ϕ ( a i T x − b i ) \sum^m_{i=1}{\phi(a_i^Tx-b_i)} i=1mϕ(aiTxbi)给出,即(a)(c)等价。

  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 由于并不确定您指的是哪个习题集或具体的内容,我将为您提供一般性的答案。请注意,以下回答仅适用于Boy d 凸优化习题的一般性概念和方法。 Boy d 凸优化习题集是一套用于学习凸优化教材凸优化是一种数学理论和方法,用于解决函数的最优化问题。该习题集涵盖了凸优化的关键概念和方法,能帮助学生深入理解和应用这一领域的知识。 习题集中的问题分为不同难度和类型,包括理论推导、数值计算和应用实例等。在解答这些习题时,需要掌握集、函数、凸优化问题的定义和性质,以及常用的优化算法,如梯度下降、拉格朗日对偶等。 习题答案通常会提供详细的解题步骤和方法。例如,在解决一个凸优化问题时,习题答案可能会引导学生进行问题建模、目标函数和约束条件的定义、优化算法的选择和求解等,以便学生能够逐步掌握解决凸优化问题的全过程。 通过完成习题集并仔细研究习题答案,学生可以加深对凸优化理论和方法的理解,并提高解决实际问题的能力。同时,习题集中的答案还可以作为学生自我学习和自我评估的工具,帮助他们更好地掌握凸优化的核心概念和技能。 总之,Boy d 凸优化习题答案提供了对于凸优化概念和方法的具体应用,帮助学生加深理解并提高解决凸优化问题的能力。这些习题答案是学习凸优化的重要辅助材料。 ### 回答2: Boyd凸优化习题答案是由凸优化领域的专家Stephen Boyd编写的,它是一本供学习者进行实践和巩固凸优化理论和应用知识的习题集。该习题集包含了众多的习题和解答,涵盖了集、函数、凸优化问题、对偶性、凸优化算法等各个方面。 在习题集中,每个习题都提供了详细的问题描述,并给出了解决问题所需的基本知识和思路。在解答部分,给出了逐步推导和解决问题的过程,其中包括重要的定理、定义和算法的应用。通过完成这些习题并阅读答案,学习者可以更好地理解和掌握凸优化的基本概念、理论和方法。 习题集中的题目可分为理论类和应用类两种。理论类题目主要涉及集、函数、凸优化问题的性质和定理证明等内容,需要学习者运用相关理论知识进行思考和证明。应用类题目主要涉及凸优化问题在工程、经济等实际问题中的应用,需要学习者将所学的凸优化方法应用于实际问题的建模和求解过程中。 通过练习这些习题,学习者可以提升对凸优化理论和应用的理解和熟练度,培养解决实际问题的能力。同时,通过分析解答过程、思考不同解法的优劣和适用条件,学习者还可以培养自己的逻辑思维和问题解决能力。 总之,Boyd凸优化习题答案是一本帮助学习者巩固凸优化理论和应用知识的重要参考资料,对于深入理解凸优化方法和培养问题解决能力具有重要意义。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值