Boyd 凸优化课后习题 求共轭函数

求下面问题的一系列共轭函数

(a) 最大值函数。函数$f(x)={\max }_{i=1,\dots ,n}{x}_i$，定义在${\mathbf{R}}^n$上。
(b) 最大若干分量之和。函数$f(x)={\sum }_{i=1}^r{x}_{[i]}$，定义在${\mathbf{R}}^n$上。
(c) 定义在$R$上的分片线性函数。$f(x)={\max }_{i=1,\dots ,m}(a_{i}x+b_i)$。在求解过程中，可以假设$a_i$按升序排列，$a_1\le \cdots \le a_m$，且每个函数$a_{i}x+b_i$都不是冗余的，即任选$k$，至少存在一点$x$使得$f(x)=a_{k}x+b_k$。

解：
(a)最大值函数的共轭函数写作：
f ∗ ( y ) = sup ⁡ x { y T x − max ⁡ x } f^*(y)=\sup_x\{y^Tx-\max x\} f∗(y)=xsup​{yTx−maxx}

1. 首先，如果$y$的分量中存在负值，那么与该分量对应相乘的$x$分量取负无穷大时，显然是没有上界的，所以至少$y⪰0$；
2. 其次，如果$y$向量中存在某个大于1的的分量，那么当该分量对应的$x_i$趋近于无穷大时，函数没有上界。
3. 然后在$0⪯y⪯1$的基础上考虑问题，不失一般性，我们可以假设$x\in {\mathbf{R}}^n$的各分量按从大到小排序：
   $$x_1\ge x_2\ge \cdots \ge x_n$$
   则共轭函数可以去掉最大值符号，
   f ∗ ( y ) = sup ⁡ x { ∑ i = 1 n y i x i − x 1 } = sup ⁡ x { ( y 1 − 1 ) x 1 + ∑ i = 2 n y i x i } , ∀ i ≥ 2 x i ≤ x 1 f^*(y)=\sup_x\{\sum^n_{i=1}y_ix_i-x_1\}=\sup_x\{(y_1-1)x_1+\sum^n_{i=2}y_ix_i\},\quad \forall i\ge 2\quad x_i\le x_1 f∗(y)=xsup​{i=1∑n​yi​xi​−x1​}=xsup​{(y1​−1)x1​+i=2∑n​yi​xi​},∀i≥2xi​≤x1​
   对于这样的线性形式，更容易分析上界的存在性。
   考虑最大化函数值的$x$取值：固定$x_1$，$x$的其他所有分量前面的系数$y_i$都是非负的，那么这些分量尽量取更大值，才能逼近上界。所以，我们不妨取$x=t1$，即各个分量相等的向量（每个分量都是最大值$t$）。在这种情况下，
   f ∗ ( y ) = sup ⁡ x { ( y 1 − 1 ) x 1 + ∑ i = 2 n y i x i } = sup ⁡ t { t ( ∑ i = 1 m y i − 1 ) } f^*(y)=\sup_x\{(y_1-1)x_1+\sum^n_{i=2}y_ix_i\}=\sup_t\{t(\sum_{i=1}^m y_i-1)\} f∗(y)=xsup​{(y1​−1)x1​+i=2∑n​yi​xi​}=tsup​{t(i=1∑m​yi​−1)}我们发现，当且仅当${\sum }_i{y}_i=1$时，函数才不是$t$的线性函数，上界才存在。

因此，共轭函数为
$$f^{\ast }(y)=\{\begin{array}{ll}0& \text{if}y⪰0,(y⪯1可忽略)1^{\mathbf{T}}y=1\\ \infty & \text{otherwise}\end{array}$$

(b)思路与(a)相似，我们仍分三步走：

1. 首先，如果$y$的分量中存在负值，那么与该分量对应相乘的$x$分量取负无穷大时，显然是没有上界的，所以至少$y⪰0$；
2. 其次，如果$y$向量中存在某个大于1的的分量，那么当该分量对应的$x_i$趋近于无穷大时，函数没有上界。
3. 然后在$0⪯y⪯1$的基础上考虑问题，我们仍假设$x\in {\mathbf{R}}^n$的各分量按从大到小排序：
   $$x_1\ge x_2\ge \cdots \ge x_n$$
   则共轭函数可以化为下面的形式：
   f ∗ ( y ) = sup ⁡ { ∑ i = 1 r ( y i − 1 ) x i + ∑ i = r + 1 n y i x i } f^*(y)=\sup\{\sum_{i=1}^r(y_i-1)x_i+\sum^n_{i=r+1}y_ix_i\} f∗(y)=sup{i=1∑r​(yi​−1)xi​+i=r+1∑n​yi​xi​}
   ，考虑最大化函数值的$x$取值：因为前$r$项求和的系数都是非正的，因此，固定$x_r$这个第$r$小的分量，$x_1,\dots ,x_{r-1}$都取与$x_r$相同的值，使前$r$项之和最大；$x_j,j>r$的其他所有分量前面的系数$y_i$都是非负的，那么对这些分量尽量取更大值以逼近上界，所以也都统一取$x_r$。于是我们不妨令$x=t1$，即各个分量相等的向量（每个分量都是最大值$t$）。在这种情况下，
   f ∗ ( y ) = sup ⁡ { ∑ i = 1 r ( y i − 1 ) x i + ∑ i = 2 n y i x i } = sup ⁡ { t ( ∑ i = 1 m y i − r ) } f^*(y)=\sup\{\sum_{i=1}^r(y_i-1)x_i+\sum^n_{i=2}y_ix_i\}=\sup\{t(\sum_{i=1}^m y_i-r)\} f∗(y)=sup{i=1∑r​(yi​−1)xi​+i=2∑n​yi​xi​}=sup{t(i=1∑m​yi​−r)}
   当且仅当${\sum }_i{y}_i=r$时，函数才不是$t$的线性函数，上界才存在。

综上，共轭函数为
$$f^{\ast }(y)=\{\begin{array}{ll}0& \text{if}0⪯y⪯1,1^{\mathbf{T}}y=r\\ \infty & \text{otherwise}\end{array}$$
(c)按照题干假设，函数$f$有$\text{m-1}$个拐点，表达式为
$$x_i=\frac{b_i-b_{i+1}}{a_{i+1}-a_i},i=1,...,m-1$$
容易求得，共轭函数为
$$f^{\ast }(y)=-b_i-\frac{b_{i+1}-b_i}{a_{i+1}-a_i}(y-a_i)$$
其中$i$定义为，满足$a_i\le y\le a_{i+1}$