Boyd 凸优化教材习题 等价凸问题答案翻译

等价凸问题

试证明以下三个凸问题是等价的。详细解释每个问题的解如何从其他问题的解中得出。这些问题的数据是：矩阵$A\in {\mathbf{R}}^{m\times n}\text{(列向量为}{a}_i^T\text{)}$，矢量$b\in {\mathbf{R}}^m$，常数$M>0$。
(a) 鲁棒最小二乘问题
$$\mathbf{m}\mathbf{i}\mathbf{n}\mathbf{i}\mathbf{m}\mathbf{i}\mathbf{z}\mathbf{e}\sum _{i=1}^m\varphi (a_i^{T}x-b_i)$$
其中，$x\in {\mathbf{R}}^n$，函数$\varphi :\mathbf{R}\to \mathbf{R}$定义如下
$$\varphi (u)=\{\begin{array}{ll}{u}^2,& |u|\le M,\\ M(2|u|-M),& |u|>M\end{array}$$

(b) 变权最小二乘问题
$$\begin{array}{rl}\mathbf{m}\mathbf{i}\mathbf{n}\mathbf{i}\mathbf{m}\mathbf{i}\mathbf{z}\mathbf{e}& \sum _{i=1}^m\frac{(a_i^{T}x-b_i{)}^2}{w_i+1}+M^2{1}^{\mathbf{T}}w\\ \mathbf{s}.\mathbf{t}.& w\ge 0\end{array}$$
其中，$x\in {\mathbf{R}}^n$，$w\in {\mathbf{R}}^m$，问题的域 D = { ( x , w ) ∈ R n × R m ∣ w ≻ − 1 } D=\{(x,w)\in \mathbf{R}^n\times\mathbf{R}^m|w\succ -1\} D={(x,w)∈Rn×Rm∣w≻−1}
（提示，固定$x$，以$w$为优化变量考虑该问题以建立与问题(a)的联系。）

(c) 一个二次规划问题
$$\begin{array}{rl}\mathbf{m}\mathbf{i}\mathbf{n}\mathbf{i}\mathbf{m}\mathbf{i}\mathbf{z}\mathbf{e}& \sum _{i=1}^m(u_i^2+2M{v}_i)\\ \mathbf{s}.\mathbf{t}.& -u-v⪯Ax-b⪯u+v\\ & 0⪯u⪯M1\\ & v⪰0\end{array}$$

解：
(a)-(b)的等价性：对问题(b)的目标函数每个分量考虑，
$$\begin{array}{rl}\mathbf{m}\mathbf{i}\mathbf{n}\mathbf{i}\mathbf{m}\mathbf{i}\mathbf{z}\mathbf{e}& \frac{u^2}{w+1}+M^{2}w\\ \mathbf{s}.\mathbf{t}.& w\ge 0\end{array}$$
关于$w$求导得到其最优点为
$$w=\{\begin{array}{ll}\frac{|u|}{M}-1,& |u|\ge M\\ 0,& \text{otherwise}\end{array}$$
最优值为
$$\underset{w⪰0}{\inf }(\frac{u^2}{w+1}+M^{2}w)=\{\begin{array}{ll}M(2|u|-M),& |u|\ge M\\ u^2,& \text{otherwise}\end{array}$$
由此可见，(a)(b)两个问题关于$x$的最优值是相同的。借助上面的计算，(b)的最优点$w$为
$$w_i=\{\begin{array}{ll}\frac{|a_i^{T}x-b_i|}{M}-1,& |a_i^{T}x-b_i|\ge M\\ 0,& \text{otherwise}\end{array}$$

(a)和(c)的等价性：固定问题(c)中的$x$进行考虑：
首先，在函数的最优点我们必有$u_i+v_i=|a_i^T-b_i|$。因为，如果最优点处不满足等号，也就是不等号严格成立$u_i+v_i>|a_i^{T}x-b_i|\ge 0$，$u_i,v_i$不全为0，在此基础上在可行域内任意减小$u_i,v_i$其中的某一个，都能使目标函数值进一步减小，也就是说$u_i,v_i$并不是最优点。有了这个事实，我们可以用$u_i$表示$v_i$：
$$v_i=|a_i^{T}x-b_i|-u_i$$
把问题(c)中的$v$消去，得到等价的问题
$$\begin{array}{rl}\mathbf{m}\mathbf{i}\mathbf{n}\mathbf{i}\mathbf{m}\mathbf{i}\mathbf{z}\mathbf{e}& \sum _{i=1}^m(u_i^2+2M|a_i^{T}x-b_i|-2M{u}_i)\\ \mathbf{s}.\mathbf{t}.& 0⪯u⪯M1\\ & u_i⪯|a_i^{T}x-b_i|\end{array}$$
两个不等式约束也可以写成$0\le u_i\le \min M,|a_i^{T}x-b_i|$。该等价问题的目标函数每个分量是关于$u_i$的一元二次函数，所以我们有，

• $|a_i^{T}x-b_i|\le M$时，最优的$u_i$为$|a_i^{T}x-b_i|$，此时目标函数简化为$|a_i^{T}x-b_i{|}^2$；
• $|a_i^{T}x-b_i|>M$时，最优的$u_i$取$M$，此时目标函数简化为$2M|a_i^{T}x-b_i|-M^2$；

所以(c)的最优值由${\sum }_{i=1}^m\varphi (a_i^{T}x-b_i)$给出，即(a)(c)等价。