First Order Methods in Optimization Ch7. Spectral Functions

第七章: 谱函数

本章我们讨论所谓的 谱函数. 它们是矩阵函数, 只依赖于矩阵的奇异值或特征值. 本章的讨论均在欧式空间下进行.

1. 对称函数

1.1 定义与例子

定义1 (对称函数) 设$\mathcal{A}\subset {\mathbb{O}}^n$为一些正交阵构成的集合. 我们称正常函数$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$对$\mathcal{A}$是对称函数, 若$$f(\mathbf{A}\mathbf{x})=f(\mathbf{x}),\forall \mathbf{x}\in {\mathbb{R}}^n,\mathbf{A}\in \mathcal{A}.$$
下面给出五类对称函数. 它们都与$\mathcal{A}$的选择有关.

例1 (偶函数) 若 A = { − I } \mathcal{A}=\{-\mathbf{I}\} A={−I}, 则$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$对$\mathcal{A}$是对称函数, 若$$f(\mathbf{x})=f(-\mathbf{x}),\forall \mathbf{x}\in {\mathbb{R}}^n.$$我们称这样的函数为偶函数.

例2 (绝对对称函数) 令 A = { D 1 , D 2 , … , D n } ⊂ R n × n \mathcal{A}=\{\mathbf{D}_1,\mathbf{D}_2,\ldots,\mathbf{D}_n\}\subset\mathbb{R}^{n\times n} A={D1​,D2​,…,Dn​}⊂Rn×n, 其中${\mathbf{D}}_i$是除$(i,i)$元为-1, 其余对角元全1的对角阵, 则正常函数$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$对$\mathcal{A}$是对称函数, 当且仅当$$f(\mathbf{x})=f(|\mathbf{x}|),\forall \mathbf{x}\in {\mathbb{R}}^n.$$我们称这样的函数为绝对对称函数. 易证$f$是绝对对称函数当且仅当存在函数$g:{\mathbb{R}}_{+}^n\to (-\infty ,\infty ]$, 使得$f(\mathbf{x})=g(|\mathbf{x}|),\forall \mathbf{x}\in {\mathbb{R}}^n$. 事实上, $g$可以取为$f$在${\mathbb{R}}_{+}^n$上的限制.

例3 (范数依赖函数) 由定义, 正常函数$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$对$\mathcal{A}={\mathbb{O}}^n$是对称函数当且仅当$$f(\mathbf{x})=f(\mathbf{U}\mathbf{x}),\forall \mathbf{x}\in {\mathbb{R}}^n,\mathbf{U}\in {\mathbb{O}}^n.$$上式成立当且仅当存在正常函数$g:{\mathbb{R}}_{+}\to (-\infty ,\infty ]$使得$$f(\mathbf{x})=g(\Vert \mathbf{x}{\Vert }_2),\forall \mathbf{x}\in {\mathbb{R}}^n.$$事实上, 可以定义$g:t\mapsto f(\mathbf{x})$, 其中$\mathbf{x}$是满足$\Vert \mathbf{x}{\Vert }_2=t$的任一${\mathbb{R}}^n$中的向量.

在给出接下来的两个例子之前, 我们需要做一些额外的记号说明. 对一给定向量$\mathbf{x}\in {\mathbb{R}}^n$, 我们记它经过降序重排后得到的向量为${\mathbf{x}}^{\downarrow }$. 例如, 若$\mathbf{x}=(2,-9,2,10{)}^T$, 则${\mathbf{x}}^{\downarrow }=(10,2,2,-9{)}^T$.

定义2 (排列矩阵) 我们称$n\times n$矩阵为排列矩阵, 若其元素只可能是0或1, 且每行每列有且仅有一个非零元. 所有$n\times n$排列矩阵构成的集合记为${\Lambda }_n$.

定义3 (广义排列矩阵) 我们称$n\times n$矩阵为广义排列矩阵, 若其元素只可能是0,1或-1, 且每行每列有且仅有一个非零元. 所有$n\times n$广义排列矩阵构成的集合记为${\Lambda }_n^G$.

例如$$\left(\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right)\in {\Lambda }_3,\left(\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& -1\end{array}\right)\in {\Lambda }_3^G.$$由排列矩阵和广义排列矩阵的定义, 已知对$\forall \mathbf{x}\in {\mathbb{R}}^n$, 存在排列矩阵$\mathbf{P}\in {\Lambda }_n$, 使得$\mathbf{P}\mathbf{x}={\mathbf{x}}^{\downarrow }$; 存在广义排列矩阵$\mathbf{Q}\in {\Lambda }_n^G$, 使得$\mathbf{Q}\mathbf{x}=|\mathbf{x}{|}^{\downarrow }$. 容易验证${\Lambda }_n,{\Lambda }_n^G\subset {\mathbb{O}}^n$. 因此, 它们可以作为对称函数定义中$\mathcal{A}$的选择.

例4 (排列对称函数) 正常函数$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$对${\Lambda }_n$是对称函数, 当且仅当$$f(\mathbf{x})=f(\mathbf{P}\mathbf{x}),\forall \mathbf{x}\in {\mathbb{R}}^n,\mathbf{P}\in {\Lambda }_n.$$我们称这样的函数为排列对称函数. 易证$f$是排列对称函数当且仅当$$f(\mathbf{x})=f({\mathbf{x}}^{\downarrow }),\forall \mathbf{x}\in {\mathbb{R}}^n.$$

例5 (绝对排列对称函数) 正常函数$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$对${\Lambda }_n^G$是对称函数, 当且仅当$$f(\mathbf{x})=f(\mathbf{P}\mathbf{x}),\forall \mathbf{x}\in {\mathbb{R}}^n,\mathbf{P}\in {\Lambda }_n^G.$$我们称这样的函数为绝对排列对称函数. 易证$f$是绝对排列对称函数当且仅当$$f(\mathbf{x})=f\left(|\mathbf{x}{|}^{\downarrow }\right),\forall \mathbf{x}\in {\mathbb{R}}^n.$$

1.2 对称共轭定理

下面我们将说明, 对某一正交阵集合, 对称函数的共轭仍然是对同一矩阵集合的对称函数.

定理1 (对称共轭定理) 设$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$是对集合$\mathcal{A}\subset {\mathbb{O}}^n$的正常对称函数, 则$f^{\ast }$对$\mathcal{A}$也是对称函数.

证明: 任取$\mathbf{A}\in \mathcal{A}$. 由对称性假设, $h=f$, 其中$h(\mathbf{x})=f(\mathbf{A}\mathbf{x})$. 因此, $$f^{\ast }(\mathbf{y})=h^{\ast }(\mathbf{y}),\forall \mathbf{y}\in {\mathbb{R}}^n.$$根据第四章定理6以及$\mathbf{A}$的正交性, 对$\forall \mathbf{y}\in {\mathbb{R}}^n$, 有$$h^{\ast }(\mathbf{y})=f^{\ast }\left({\left({\mathbf{A}}^T\right)}^{-1}\mathbf{y}\right)=f^{\ast }(\mathbf{A}\mathbf{y}).$$于是$$f^{\ast }(\mathbf{y})=f^{\ast }(\mathbf{A}\mathbf{y}),\forall \mathbf{y}\in {\mathbb{R}}^n.$$因为$\mathbf{A}$是任意的, 所以$f^{\ast }$对$\mathcal{A}$也是对称函数.

例6 本例是将定理1用于第四章4.16节总结的函数.

• 偶函数

$f(\mathbf{x})$	$\mathrm{d}\mathrm{o}\mathrm{m}(f)$	$f^{\ast }(\mathbf{y})$	假设条件	参考第四章
$\frac{1}{p}\mathrm{a}\mathrm{b}\mathrm{s}(x{)}^p$	$\mathbb{R}$	$\frac{1}{q}\mathrm{a}\mathrm{b}\mathrm{s}(y{)}^q$	$p>1,\frac{1}{p}+\frac{1}{q}=1$	4.4节
$\frac{1}{2}{\mathbf{x}}^T\mathbf{A}\mathbf{x}+c$	${\mathbb{R}}^n$	$\frac{1}{2}{\mathbf{y}}^T{\mathbf{A}}^{-1}\mathbf{y}-c$	$\mathbb{A}\in {\mathbb{S}}_{++}^n,c\in \mathbb{R}$	4.6节

• 排列对称函数

$f(\mathbf{x})$	$\mathrm{d}\mathrm{o}\mathrm{m}(f)$	$f^{\ast }(\mathbf{y})$	参考第四章
${\sum }_{i=1}^n{x}_i\log x_i$	${\mathbb{R}}_{+}^n$	${\sum }_{i=1}^n{e}^{y_i-1}$	4.8节
${\sum }_{i=1}^n{x}_i\log x_i$	${\Delta }_n$	$\log \left({\sum }_{i=1}^n{e}^{y_i}\right)$	4.10节
$\log \left({\sum }_{i=1}^n{e}^{x_i}\right)$	${\mathbb{R}}^n$	${\sum }_{i=1}^n{y}_i\log y_i(\mathrm{d}\mathrm{o}\mathrm{m}(f^{\ast })={\Delta }_n)$	4.11节
max ⁡ i { x i } \max_i\{x_i\} maxi​{xi​}	${\mathbb{R}}^n$	${\delta }_{{\Delta }_n}(\mathbf{y})$	例4

• 绝对排列对称函数

$f(\mathbf{x})$	$\mathrm{d}\mathrm{o}\mathrm{m}(f)$	$f^{\ast }(\mathbf{y})$	参考第四章
$\Vert \mathbf{x}{\Vert }_p$	${\mathbb{R}}^n$	${\delta }_{B_{\Vert \cdot {\Vert }_q}[0,1]}(\mathbf{y})$	4.12节
$\frac{1}{2}\Vert \mathbf{x}{\Vert }_p^2$	$\mathbb{E}$	$\frac{1}{2}\Vert \mathbf{y}{\Vert }_q^2$	4.15节

其中$p,q\in [1,\infty ],\frac{1}{p}+\frac{1}{q}=1$.

• 范数依赖函数

$f(\mathbf{x})$	$\mathrm{d}\mathrm{o}\mathrm{m}(f)$	$f^{\ast }(\mathbf{y})$	参考第四章
$\Vert \mathbf{x}{\Vert }_2$	${\mathbb{R}}^n$	${\delta }_{B_{\Vert \cdot {\Vert }_2}[0,1]}(\mathbf{y})$	4.12节
$-\sqrt{{\alpha }^2-\Vert \mathbf{x}{\Vert }_2^2}(\alpha >0)$	$B_{\Vert \cdot {\Vert }_2}[0,\alpha ]$	$\alpha \sqrt{\Vert \mathbf{y}{\Vert }_2^2+1}$	4.13节
$\sqrt{{\alpha }^2+\Vert \mathbf{x}{\Vert }_2^2}(\alpha >0)$	${\mathbb{R}}^n$	$-\alpha \sqrt{1-\Vert \mathbf{y}{\Vert }_2^2}(\mathrm{d}\mathrm{o}\mathrm{m}{f}^{\ast }=B_{\Vert \cdot {\Vert }_2}[0,1])$	4.14节
$\frac{1}{2}\Vert \mathbf{x}{\Vert }_2^2$	${\mathbb{R}}^n$	$\frac{1}{2}\Vert \mathbf{y}{\Vert }_2^2$	4.15节

2. ${\mathbb{S}}^n$上的对称谱函数

本章主要考虑的是定义域为${\mathbb{S}}^n$或${\mathbb{R}}^{m\times n}$的矩阵函数. 具体说来, 我们只关心那些仅依赖于矩阵特征值(当定义域为${\mathbb{S}}^n$)或奇异值(当定义域为${\mathbb{R}}^{m\times n}$)的函数. 我们称这样的函数为谱函数.

我们先考虑定义在${\mathbb{S}}^n$上的函数. 给定矩阵$\mathbf{X}\in {\mathbb{S}}^n$, 记其特征值有降序排列$${\lambda }_1(\mathbf{X})\ge {\lambda }_2(\mathbf{X})\ge \cdots \ge {\lambda }_n(\mathbf{X}).$$定义特征值函数$\mathbf{\lambda }:{\mathbb{S}}^n\to {\mathbb{R}}^n$为$$\mathbf{\lambda }(\mathbf{X})={\left({\lambda }_1(\mathbf{X}),{\lambda }_2(\mathbf{X}),\dots ,{\lambda }_n(\mathbf{X})\right)}^T.$$根据线性代数理论, 任一对称矩阵$\mathbf{X}\in {\mathbb{S}}^n$都有谱分解, 即存在正交阵$\mathbf{U}\in {\mathbb{O}}^n$, 使得$\mathbf{X}=\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})){\mathbf{U}}^T$.

定义4 (${\mathbb{S}}^n$上的谱函数) 我们称正常函数$g:{\mathbb{S}}^n\to (-\infty ,\infty ]$是${\mathbb{S}}^n$上的谱函数, 若存在正常函数$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$, 使得$g=f\circ \mathbf{\lambda }$. 我们称满足条件的$f$(不必唯一)为关联函数.

我们主要是要研究那些关联函数是排列对称函数的谱函数.

定义5 (${\mathbb{S}}^n$上的对称谱函数) 我们称正常函数$g:{\mathbb{S}}^n\to (-\infty ,\infty ]$是${\mathbb{S}}^n$上的对称谱函数, 若存在正常排列对称函数$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$使得$g=f\circ \mathbf{\lambda }$.

例7 以下是一些排列对称函数以及由它们关联的对称谱函数.

$\#$	$f(\mathbf{x})$	$\mathrm{d}\mathrm{o}\mathrm{m}(f)$	$f(\mathbf{\lambda }(\mathbf{X}))$	$\mathrm{d}\mathrm{o}\mathrm{m}(f\circ \mathbf{\lambda })$
1	${\sum }_{i=1}^n{x}_i$	${\mathbb{R}}^n$	$\mathrm{T}\mathrm{r}(\mathbf{X})$	${\mathbb{S}}^n$
2	$\underset{i=1,2,\dots ,n}{\max }{x}_i$	${\mathbb{R}}^n$	${\lambda }_{\max }(\mathbf{X})$	${\mathbb{S}}^n$
3	$\alpha \Vert \mathbf{x}{\Vert }_2(\alpha \in \mathbb{R})$	${\mathbb{R}}^n$	$\alpha \Vert \mathbf{X}{\Vert }_F$	${\mathbb{S}}^n$
4	$\alpha \Vert \mathbf{x}{\Vert }_2^2(\alpha \in \mathbb{R})$	${\mathbb{R}}^n$	$\alpha \Vert \mathbf{X}{\Vert }_F^2$	${\mathbb{S}}^n$
5	$\alpha \Vert \mathbf{x}{\Vert }_{\infty }(\alpha \in \mathbb{R})$	${\mathbb{R}}^n$	$\alpha \Vert \mathbf{X}{\Vert }_{2,2}$	${\mathbb{S}}^n$
6	$\alpha \Vert \mathbf{x}{\Vert }_1(\alpha \in \mathbb{R})$	${\mathbb{R}}^n$	$\alpha \Vert \mathbf{X}{\Vert }_{S_1}$	${\mathbb{S}}^n$
7	$-{\sum }_{i=1}^n\log (x_i)$	${\mathbb{R}}_{++}^n$	$-\log \det (\mathbf{X})$	${\mathbb{S}}_{++}^n$
8	${\sum }_{i=1}^n{x}_i\log (x_i)$	${\mathbb{R}}_{+}^n$	${\sum }_{i=1}^n{\lambda }_i(\mathbf{X})\log ({\lambda }_i(\mathbf{X}))$	${\mathbb{S}}_{+}^n$
9	${\sum }_{i=1}^n{x}_i\log (x_i)$	${\Delta }_n$	${\sum }_{i=1}^n{\lambda }_i(\mathbf{X})\log ({\lambda }_i(\mathbf{X}))$	${{\rm Y}}_n$

上表中最后一个函数的有效域是谱面体(spectrahedron): Υ n = { X ∈ S + n : T r ( X ) = 1 } . \Upsilon_n=\{\mathbf{X}\in\mathbb{S}_+^n:\mathrm{Tr}(\mathbf{X})=1\}. Υn​={X∈S+n​:Tr(X)=1}.第六个函数使用的范数为Schatten $1$-范数, 它对于对称矩阵的表达式为$$\Vert \mathbf{X}{\Vert }_{S_1}=\sum _{i=1}^n|{\lambda }_i(\mathbf{X})|,\mathbf{X}\in {\mathbb{S}}^n.$$关于Schatten $p$-范数的详细讨论则放在下一节.

在本章的推导过程中, 我们要用到的一个重要的不等式是Fan不等式. 这个不等式给出了两个对称矩阵内积的上界——它们特征值函数向量的内积——且等式成立当且仅当两个矩阵可同时正交对角化¹.

定理2 (Fan不等式) 对$\forall \mathbf{X},\mathbf{Y}\in {\mathbb{S}}^n$, 有$$\mathrm{T}\mathrm{r}(\mathbf{X}\mathbf{Y})\le ⟨\mathbf{\lambda }(\mathbf{X}),\mathbf{\lambda }(\mathbf{Y})⟩,$$且等式成立当且仅当存在$\mathbf{V}\in {\mathbb{O}}^n$使得$$\begin{array}{rl}\mathbf{X}& =\mathbf{V}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})){\mathbf{V}}^T,\\ \mathbf{Y}& =\mathbf{V}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{Y})){\mathbf{V}}^T.\end{array}$$

证明: 我们只证明不等式. 这要用到下面的引理1以及双随机矩阵的Birkhoff-von Neumann定理.

引理1 对$\forall \mathbf{x},\mathbf{y}\in {\mathbb{R}}^n,\mathbf{U}\in {\mathbb{O}}^n$, 定义$$\alpha =⟨\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{x}),{\mathbf{U}}^T\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{y})\mathbf{U}⟩.$$则$\alpha \le {\left({\mathbf{x}}^{\downarrow }\right)}^T{\mathbf{y}}^{\downarrow }$.

证明: 对$\forall \mathbf{U}\in {\mathbb{O}}^n$, 首先证明存在某个双随机矩阵$\mathbf{Z}$使得$\alpha ={\mathbf{x}}^T\mathbf{Z}\mathbf{y}$. 令$\mathbf{U}=[{\mathbf{u}}_1,{\mathbf{u}}_2,\dots ,{\mathbf{u}}_n]$. 则$$\begin{array}{rl}\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{x})& =[x_1{\mathbf{u}}_1,x_2{\mathbf{u}}_2,\dots ,x_n{\mathbf{u}}_n],\\ \mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{y})\mathbf{U}& =\left[\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{y}){\mathbf{u}}_1,\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{y}){\mathbf{u}}_2,\dots ,\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{y}){\mathbf{u}}_n\right].\end{array}$$于是$$\begin{array}{rl}\alpha & =\mathrm{T}\mathrm{r}\left({\left(\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{x})\right)}^T\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{y})\mathbf{U}\right)\\ & =\mathrm{T}\mathrm{r}\left[\left[\begin{array}{c}{x}_1{\mathbf{u}}_1^T\\ x_2{\mathbf{u}}_2^T\\ ⋮\\ x_n{\mathbf{u}}_n^T\end{array}\right]\left[\begin{array}{cccc}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{y}){\mathbf{u}}_1& \mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{y}){\mathbf{u}}_2& \cdots & \mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{y}){\mathbf{u}}_{\mathbf{n}}\end{array}\right]\right]\\ & =\sum _{i=1}^n{x}_i{\mathbf{u}}_i^T\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{y}){\mathbf{u}}_i\\ & =\sum _{i,j=1}^n{x}_i{y}_j{u}_{ji}^2={\mathbf{x}}^T\mathbf{Z}\mathbf{y},\end{array}$$其中$z_{ij}=u_{ji}^2$. 由于$\mathbf{U}\in {\mathbb{O}}^n$, 所以$\mathbf{Z}$中每个元素均非负, 且每行每列元素之和为1. 所以$\mathbf{Z}$是个双随机矩阵. 由Birkhoff-von Neumann定理, 它是$n$阶排列阵全体的凸组合, 即$$\mathbf{Z}=\sum _{i=1}^{n!}{\lambda }_i{\mathbf{P}}_i,\sum _{i=1}^{n!}{\lambda }_i=1.$$因此$$\begin{array}{rl}\alpha & ={\mathbf{x}}^T\mathbf{Z}\mathbf{y}\\ & =\sum _{i=1}^{n!}{\lambda }_i{\mathbf{x}}^T{\mathbf{P}}_i\mathbf{y}\\ & \stackrel{排序不等式}{\le }\sum _{i=1}^n{\lambda }_i{\left({\mathbf{x}}^{\downarrow }\right)}^T{\mathbf{y}}^{\downarrow }={\left({\mathbf{x}}^{\downarrow }\right)}^T{\mathbf{y}}^{\downarrow }.\end{array}$$

现假设$\mathbf{X},\mathbf{Y}$分别有正交相似对角化: 存在$\mathbf{P},\mathbf{Q}\in {\mathbb{O}}^n$, 使得$$\begin{array}{rl}\mathbf{X}& =\mathbf{P}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})){\mathbf{P}}^T,\\ \mathbf{Y}& =\mathbf{Q}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{Y})){\mathbf{Q}}^T.\end{array}$$因此$$\begin{array}{rl}\mathrm{T}\mathrm{r}(\mathbf{X}\mathbf{Y})& =\mathrm{T}\mathrm{r}\left(\mathbf{P}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})){\mathbf{P}}^T\mathbf{Q}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{Y})){\mathbf{Q}}^T\right)\\ & =\mathrm{T}\mathrm{r}\left(\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})){\mathbf{P}}^T\mathbf{Q}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{Y})){\mathbf{Q}}^T\mathbf{P}\right)\\ & =\mathrm{T}\mathrm{r}\left(\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})){\mathbf{R}}^T\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{Y}))\mathbf{R}\right)(\mathbf{R}={\mathbf{Q}}^T\mathbf{P}\in {\mathbb{O}}^n)\\ & =⟨\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})),{\mathbf{R}}^T\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{Y}))\mathbf{R}⟩\\ & \le ⟨\mathbf{\lambda }(\mathbf{X}),\mathbf{\lambda }(\mathbf{Y})⟩.\end{array}$$这里最后一个不等式用到了特征值函数向量本身就是降序排列的.

2.1 谱共轭公式

Fan不等式的一个直接推论就是谱共轭公式. 我们可以用它计算${\mathbb{S}}^n$上对称谱函数的共轭.

定理3 (${\mathbb{S}}^n$上的谱共轭公式) 设$f:\mathbb{E}\to (-\infty ,\infty ]$为排列对称函数. 则$${\left(f\circ \mathbf{\lambda }\right)}^{\ast }=f^{\ast }\circ \mathbf{\lambda }.$$

证明: 设$\mathbf{Y}\in {\mathbb{S}}^n$. 则 ( f ∘ λ ) ∗ ( Y ) = max ⁡ X ∈ S n { T r ( X Y ) − f ( λ ( X ) ) } ≤ max ⁡ X ∈ S n { ⟨ λ ( X ) , λ ( Y ) ⟩ − f ( λ ( X ) ) }   ( Fan 不 等 式 ) ≤ max ⁡ x ∈ R n { ⟨ x , λ ( Y ) ⟩ − f ( x ) } = ( f ∗ ∘ λ ) ( Y ) . \begin{aligned}(f\circ\bm{\lambda})^*(\mathbf{Y})&=\max_{\mathbf{X}\in\mathbb{S}^n}\{\mathrm{Tr}(\mathbf{XY})-f(\bm{\lambda}(\mathbf{X}))\}\\&\le\max_{\mathbf{X}\in\mathbb{S}^n}\{\langle\bm{\lambda}(\mathbf{X}),\bm{\lambda}(\mathbf{Y})\rangle-f(\bm{\lambda}(\mathbf{X}))\}\,(\text{Fan}不等式)\\&\le\max_{\mathbf{x}\in\mathbb{R}^n}\{\langle\mathbf{x},\bm{\lambda}(\mathbf{Y})\rangle-f(\mathbf{x})\}\\&=(f^*\circ\bm{\lambda})(\mathbf{Y}).\end{aligned} (f∘λ)∗(Y)​=X∈Snmax​{Tr(XY)−f(λ(X))}≤X∈Snmax​{⟨λ(X),λ(Y)⟩−f(λ(X))}(Fan不等式)≤x∈Rnmax​{⟨x,λ(Y)⟩−f(x)}=(f∗∘λ)(Y).​下面证明反向不等式. 设$\mathbf{Y}$有谱分解$$\mathbf{Y}=\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{Y})){\mathbf{U}}^T(\mathbf{U}\in {\mathbb{O}}^n).$$则 ( f ∗ ∘ λ ) ( Y ) = max ⁡ x ∈ R n { ⟨ x , λ ( Y ) ⟩ − f ( x ) } = max ⁡ x ∈ R n { T r ( d i a g ( x ) d i a g ( λ ( Y ) ) − f ( x ) } = max ⁡ x ∈ R n { T r ( d i a g ( x ) U T Y U ) − f ( x ↓ ) } = max ⁡ x ∈ R n { T r ( d i a g ( x ) U T Y U ) − f ( λ ( U d i a g ( x ) U T ) ) } = max ⁡ x ∈ R n { T r ( U d i a g ( x ) U T Y ) − f ( λ ( U d i a g ( x ) U T ) ) } ≤ max ⁡ Z ∈ S n { T r ( Z Y ) − f ( λ ( Z ) ) } = ( f ∘ λ ) ∗ ( Y ) . \begin{aligned}(f^*\circ\bm{\lambda})(\mathbf{Y})&=\max_{\mathbf{x}\in\mathbb{R}^n}\{\langle\mathbf{x},\bm{\lambda}(\mathbf{Y})\rangle-f(\mathbf{x})\}\\&=\max_{\mathbf{x}\in\mathbb{R}^n}\{\mathrm{Tr}(\mathrm{diag}(\mathbf{x})\mathrm{diag}(\bm{\lambda}(\mathbf{Y}))-f(\mathbf{x})\}\\&=\max_{\mathbf{x}\in\mathbb{R}^n}\{\mathrm{Tr}(\mathrm{diag}(\mathbf{x})\mathbf{U}^T\mathbf{YU})-f(\mathbf{x}^{\downarrow})\}\\&=\max_{\mathbf{x}\in\mathbb{R}^n}\{\mathrm{Tr}(\mathrm{diag}(\mathbf{x})\mathbf{U}^T\mathbf{YU})-f(\bm{\lambda}(\mathbf{U}\mathrm{diag}(\mathbf{x})\mathbf{U}^T))\}\\&=\max_{\mathbf{x}\in\mathbb{R}^n}\{\mathrm{Tr}(\mathbf{U}\mathrm{diag}(\mathbf{x})\mathbf{U}^T\mathbf{Y})-f(\bm{\lambda}(\mathbf{U}\mathrm{diag}(\mathbf{x})\mathbf{U}^T))\}\\&\le\max_{\mathbf{Z}\in\mathbb{S}^n}\{\mathrm{Tr}(\mathbf{ZY})-f(\bm{\lambda}(\mathbf{Z}))\}\\&=(f\circ\bm{\lambda})^*(\mathbf{Y}).\end{aligned} (f∗∘λ)(Y)​=x∈Rnmax​{⟨x,λ(Y)⟩−f(x)}=x∈Rnmax​{Tr(diag(x)diag(λ(Y))−f(x)}=x∈Rnmax​{Tr(diag(x)UTYU)−f(x↓)}=x∈Rnmax​{Tr(diag(x)UTYU)−f(λ(Udiag(x)UT))}=x∈Rnmax​{Tr(Udiag(x)UTY)−f(λ(Udiag(x)UT))}≤Z∈Snmax​{Tr(ZY)−f(λ(Z))}=(f∘λ)∗(Y).​

例8 利用谱共轭公式, 我们就可以计算例7中列出函数的共轭函数.

$\#$	$g(\mathbf{X})$	$\mathrm{d}\mathrm{o}\mathrm{m}(g)$	$g^{\ast }(\mathbf{Y})$	$\mathrm{d}\mathrm{o}\mathrm{m}(g^{\ast })$	参考第四章
1	$\mathrm{T}\mathrm{r}(\mathbf{X})$	${\mathbb{S}}^n$	δ { I } ( Y ) \delta_{\{\mathbf{I}\}}(\mathbf{Y}) δ{I}​(Y)	{ I } \{\mathbf{I}\} {I}	4.7节
2	${\lambda }_{\max }(\mathbf{X})$	${\mathbb{S}}^n$	${\delta }_{{{\rm Y}}_n}(\mathbf{Y})$	${{\rm Y}}_n$	例4
3	$\alpha \Vert \mathbf{X}{\Vert }_F(\alpha >0)$	${\mathbb{S}}^n$	${\delta }_{B_{\Vert \cdot {\Vert }_F}[0,\alpha ]}(\mathbf{Y})$	$B_{\Vert \cdot {\Vert }_F}[0,\alpha ]$	4.12节
4	$\alpha \Vert \mathbf{X}{\Vert }_F^2(\alpha >0)$	${\mathbb{S}}^n$	$\frac{1}{4\alpha }\Vert \mathbf{Y}{\Vert }_F^2$	${\mathbb{S}}^n$	4.6节
5	$\alpha \Vert \mathbf{X}{\Vert }_{2,2}(\alpha >0)$	${\mathbb{S}}^n$	${\delta }_{B_{\Vert \cdot {\Vert }_{S_1}}[0,\alpha ]}(\mathbf{Y})$	$B_{\Vert \cdot {\Vert }_{S_1}}[0,\alpha ]$	4.12节
6	$\alpha \Vert \mathbf{X}{\Vert }_{S_1}(\alpha >0)$	${\mathbb{S}}^n$	${\delta }_{B_{\Vert \cdot {\Vert }_{2,2}}[0,\alpha ]}(\mathbf{Y})$	$B_{\Vert \cdot {\Vert }_{2,2}}[0,\alpha ]$	4.12节
7	$-\log \det (\mathbf{X})$	${\mathbb{S}}_{++}^n$	$-n-\log \det (-\mathbf{Y})$	${\mathbb{S}}_{--}^n$	4.9节
8	${\sum }_{i=1}^n{\lambda }_i(\mathbf{X})\log ({\lambda }_i(\mathbf{X}))$	${\mathbb{S}}_{+}^n$	${\sum }_{i=1}^n{e}^{{\lambda }_i(\mathbf{Y})-1}$	${\mathbb{S}}^n$	4.8节
9	${\sum }_{i=1}^n{\lambda }_i(\mathbf{X})\log ({\lambda }_i(\mathbf{X}))$	${{\rm Y}}_n$	$\log \left({\sum }_{i=1}^n{e}^{{\lambda }_i(\mathbf{Y})}\right)$	${\mathbb{S}}^n$	4.10节

由谱共轭公式, 我们可以推出许多结论. 例如, 对称谱函数是闭凸函数当且仅当其关联函数是闭凸函数.

定理4 (${\mathbb{S}}^n$上的对称谱函数的闭凸性) 设$F:{\mathbb{S}}^n\to (-\infty ,\infty ]$定义为$F=f\circ \mathbf{\lambda }$, 其中$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$为排列对称正常函数. 则$F$是闭凸函数当且仅当$f$是闭凸函数.

证明: 由谱共轭公式, $$F^{\ast }=(f\circ \mathbf{\lambda }{)}^{\ast }=f^{\ast }\circ \mathbf{\lambda }.$$再由对称共轭定理, $f^{\ast }$也是排列对称函数. 再次使用谱共轭公式, 我们有$$F^{\ast \ast }={\left(f^{\ast }\circ \mathbf{\lambda }\right)}^{\ast }=f^{\ast \ast }\circ \mathbf{\lambda }.$$

• 若$f$闭凸, 则根据第四章定理4, $f^{\ast \ast }=f$. 因此$$F^{\ast \ast }=f\circ \mathbf{\lambda }=F.$$因此$F$是$F^{\ast }$的共轭函数, 从而根据第四章定理1, $F$闭凸.
• 若$F$闭凸, 则因为$F$是正常函数, 所以同样由$F^{\ast \ast }=F$. 因此$$f\circ \mathbf{\lambda }=F=F^{\ast \ast }=f^{\ast \ast }\circ \mathbf{\lambda }.$$于是对$\forall \mathbf{x}\in {\mathbb{R}}^n$, $$f({\mathbf{x}}^{\downarrow })=f(\mathbf{\lambda }(\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{x})))=f^{\ast \ast }(\mathbf{\lambda }(\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{x})))=f^{\ast \ast }({\mathbf{x}}^{\downarrow }).$$由于$f,f^{\ast \ast }$都是排列对称函数, 因此$$f(\mathbf{x})=f({\mathbf{x}}^{\downarrow })=f^{\ast \ast }({\mathbf{x}}^{\downarrow })=f^{\ast \ast }(\mathbf{x}).$$从而$f=f^{\ast \ast }$. 因此$f$是$f^{\ast }$的共轭函数, $f$闭凸.

2.2 ${\mathbb{S}}^n$上对称谱函数的临近算子

下面的定理5给出了计算${\mathbb{S}}^n$上正常闭凸谱函数临近算子的公式. 其中要用到矩阵的谱分解以及关联函数的临近算子.

定理5 (${\mathbb{S}}^n$上的谱临近公式) 设$F:{\mathbb{S}}^n\to (-\infty ,\infty ]$为$F=f\circ \mathbf{\lambda }$, 其中$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$为排列对称的正常闭凸函数². 设$\mathbf{X}\in {\mathbb{S}}^n$, 且有谱分解$\mathbf{X}=\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})){\mathbf{U}}^T$, $\mathbf{U}\in {\mathbb{O}}^n$. 则$${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_F(\mathbf{X})=\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_f(\mathbf{\lambda }(\mathbf{X}))){\mathbf{U}}^T.$$

证明: 由定义, $${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_F(\mathbf{X})=\arg \underset{\mathbf{Z}\in {\mathbb{S}}^n}{\min }\left\{F(\mathbf{Z})+\frac{1}{2}\Vert \mathbf{Z}-\mathbf{X}{\Vert }_F^2\right\}.$$记$\mathbf{D}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X}))$, 于是对$\forall \mathbf{Z}\in {\mathbb{S}}^n$, $$F(\mathbf{Z})+\frac{1}{2}\Vert \mathbf{Z}-\mathbf{X}{\Vert }_F^2=F(\mathbf{Z})+\frac{1}{2}\Vert \mathbf{Z}-{\mathbf{U}\mathbf{D}\mathbf{U}}^T{\Vert }_F^2\stackrel{(\ast )}{=}F({\mathbf{U}}^T\mathbf{Z}\mathbf{U})+\frac{1}{2}\Vert {\mathbf{U}}^T\mathbf{Z}\mathbf{U}-\mathbf{D}{\Vert }_F^2,$$其中$(\ast )$式是因为$F(\mathbf{Z})=f(\mathbf{\lambda }(\mathbf{Z}))=f(\mathbf{\lambda }({\mathbf{U}}^T\mathbf{Z}\mathbf{U}))=F({\mathbf{U}}^T\mathbf{Z}\mathbf{U})$. 做变量替换$\mathbf{W}={\mathbf{U}}^T\mathbf{Z}\mathbf{U}$. 则${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_F(\mathbf{X})={\mathbf{U}\mathbf{W}}^{\ast }{\mathbf{U}}^T$, 其中${\mathbf{W}}^{\ast }\in {\mathbb{S}}^n$是$$\underset{\mathbf{W}\in {\mathbb{S}}^n}{\min }\left\{G(\mathbf{W})\equiv F(\mathbf{W})+\frac{1}{2}\Vert \mathbf{W}-\mathbf{D}{\Vert }_F^2\right\}$$的唯一最优解. 下证${\mathbf{W}}^{\ast }$是对角阵. 取 i ∈ { 1 , 2 , … , n } i\in\{1,2,\ldots,n\} i∈{1,2,…,n}. 令${\mathbf{V}}_i$为仅有$(i,i)$元是$-1$, 其余对角元全$1$的对角阵. 定义${\tilde{\mathbf{W}}}_i={\mathbf{V}}_i{\mathbf{W}}^{\ast }{\mathbf{V}}_i^T$. 由于${\mathbf{V}}_i\in {\mathbb{O}}^n$, $$F({\mathbf{V}}_i{\mathbf{W}}^{\ast }{\mathbf{V}}_i^T)=f(\mathbf{\lambda }({\mathbf{V}}_i{\mathbf{W}}^{\ast }{\mathbf{V}}_i^T))=f(\mathbf{\lambda }({\mathbf{W}}^{\ast }))=F({\mathbf{W}}^{\ast }),$$因此$$\begin{array}{rl}G({\tilde{\mathbf{W}}}_i)& =F({\tilde{\mathbf{W}}}_i)+\frac{1}{2}{\Vert {\tilde{\mathbf{W}}}_i-\mathbf{D}\Vert }_F^2\\ & =F({\mathbf{V}}_i{\mathbf{W}}^{\ast }{\mathbf{V}}_i^T)+\frac{1}{2}{\Vert {\mathbf{V}}_i{\mathbf{W}}^{\ast }{\mathbf{V}}_i^T-\mathbf{D}\Vert }_F^2\\ & =F({\mathbf{W}}^{\ast })+\frac{1}{2}{\Vert {\mathbf{W}}^{\ast }-{\mathbf{V}}_i^T{\mathbf{D}\mathbf{V}}_i\Vert }_F^2\\ & =F({\mathbf{W}}^{\ast })+\frac{1}{2}\Vert {\mathbf{W}}^{\ast }-\mathbf{D}{\Vert }_F^2(\because {\mathbf{V}}_i,\mathbf{D}都是对角阵\therefore 二者可交换)\\ & =G({\mathbf{W}}^{\ast }).\end{array}$$这就表明${\tilde{\mathbf{W}}}_i$也是最优解. 因此${\mathbf{W}}^{\ast }={\mathbf{V}}_i{\mathbf{W}}^{\ast }{\mathbf{V}}_i^T$. 比较两矩阵的第$i$行, 就有$W_{ij}^{\ast }=0,\forall j\ne i$. 因为这对 ∀ i ∈ { 1 , 2 , … , n } \forall i\in\{1,2,\ldots,n\} ∀i∈{1,2,…,n}均成立, 所以${\mathbf{W}}^{\ast }$是对角阵, 可表示为${\mathbf{W}}^{\ast }=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\mathbf{w}}^{\ast })$, 其中${\mathbf{w}}^{\ast }$为$$\underset{\mathbf{w}\in {\mathbb{R}}^n}{\min }\left\{F(\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{w}))+\frac{1}{2}\Vert \mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{w})-\mathbf{D}{\Vert }_F^2\right\}$$的最优解. 又$F(\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{w}))=f({\mathbf{w}}^{\downarrow })=f(\mathbf{w}),\Vert \mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{w})-\mathbf{D}{\Vert }_F^2=\Vert \mathbf{w}-\mathbf{\lambda }(\mathbf{X}){\Vert }_2^2$, 于是$${\mathbf{w}}^{\ast }=\arg \underset{\mathbf{w}}{\min }\left\{f(\mathbf{w})+\frac{1}{2}\Vert \mathbf{w}-\mathbf{\lambda }(\mathbf{X}){\Vert }_2^2\right\}={\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_f(\mathbf{\lambda }(\mathbf{X})).$$所以${\mathbf{W}}^{\ast }=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_f(\mathbf{\lambda }(\mathbf{X})))$. 代入即得证.

例9 利用谱临近公式, 我们就可以计算对称谱函数的prox. 下表中, $\alpha >0$, $\mathbf{U}$是满足$\mathbf{X}=\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})){\mathbf{U}}^T$的正交阵.

$F(\mathbf{X})$	$\mathrm{d}\mathrm{o}\mathrm{m}(F)$	${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_F(\mathbf{X})$	参考第六章
$\alpha \Vert \mathbf{X}{\Vert }_F^2$	${\mathbb{S}}^n$	$\frac{1}{1+2\alpha }\mathbf{X}$	2.3节
$\alpha \Vert \mathbf{X}{\Vert }_F$	${\mathbb{S}}^n$	( 1 − α max ⁡ { ∥ X ∥ F , α } ) X \left(1-\dfrac{\alpha}{\max\{\Vert\mathbf{X}\Vert_F,\alpha\}}\right)\mathbf{X} (1−max{∥X∥F​,α}α​)X	例8
$\alpha \Vert \mathbf{X}{\Vert }_{S_1}$	${\mathbb{S}}^n$	$\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\mathcal{T}}_{\alpha }(\mathbf{\lambda }(\mathbf{X}))){\mathbf{U}}^T$	例2
$\alpha \Vert \mathbf{X}{\Vert }_{2,2}$	${\mathbb{S}}^n$	$\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})-\alpha P_{B_{\Vert \cdot {\Vert }_1}[0,1]}(\mathbf{\lambda }(\mathbf{X})/\alpha )){\mathbf{U}}^T$	例20
$-\alpha \log \det (\mathbf{X})$	${\mathbb{S}}_{++}^n$	$\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\frac{{\lambda }_j(\mathbf{X})+\sqrt{{\lambda }_j(\mathbf{X}{)}^2+4\alpha }}{2}\right){\mathbf{U}}^T$	例3
$\alpha {\lambda }_1(\mathbf{X})$	${\mathbb{S}}^n$	$\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})-\alpha P_{{\Delta }_n}(\mathbf{\lambda }(\mathbf{X})/\alpha )){\mathbf{U}}^T$	例21
$\alpha {\sum }_{i=1}^k{\lambda }_i(\mathbf{X})$	${\mathbb{S}}^n$	$\mathbf{X}-\alpha \mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(P_C(\mathbf{\lambda }(\mathbf{X})/\alpha )){\mathbf{U}}^T,C=H_{\mathbf{e},k}\cap \text{Box}[0,\mathbf{e}]$	例22

我们称$T\subset {\mathbb{S}}^n$为${\mathbb{S}}^n$中的对称谱集, 若其指示函数${\delta }_T$是${\mathbb{S}}^n$上的对称谱函数, 即${\delta }_T={\delta }_C\circ \mathbf{\lambda }$, 其中${\delta }_C$为排列对称函数. 称$C\subset {\mathbb{R}}^n$为关联集合. 因为${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_{{\delta }_T}=P_T,{\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_{{\delta }_C}=P_C$, 所以由谱共轭公式, 若$C$非空闭凸, 则$$P_T(\mathbf{X})=\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(P_C(\mathbf{\lambda }(\mathbf{X}))){\mathbf{U}}^T,\forall \mathbf{X}=\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }(\mathbf{X})){\mathbf{U}}^T\in {\mathbb{S}}^n,\mathbf{U}\in {\mathbb{O}}^n.$$

例10 利用上面推导的对称谱集指示函数的prox公式, 我们就可以计算到${\mathbb{S}}^n$中的一些对称谱集上的正交投影. 下表中, $\mathbf{U}$为$\mathbf{X}$谱分解中的正交阵.

集合$(T)$	$P_T(\mathbf{X})$	假设条件	参考第六章
${\mathbb{S}}_{+}^n$	$\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}([\mathbf{\lambda }(\mathbf{X}){]}_{+}){\mathbf{U}}^T$	-	引理2
{ X : ℓ I ⪯ X ⪯ u I \{\mathbf{X}:\ell\mathbf{I}\preceq\mathbf{X}\preceq u\mathbf{I} {X:ℓI⪯X⪯uI	U d i a g ( v ) U T ,   v i = min ⁡ { max ⁡ { λ i ( X ) , ℓ } , u } \mathbf{U}\mathrm{diag}(\mathbf{v})\mathbf{U}^T,\,v_i=\min\{\max\{\lambda_i(\mathbf{X}),\ell\},u\} Udiag(v)UT,vi​=min{max{λi​(X),ℓ},u}	$\ell \le u$	引理2
$B_{\Vert \cdot {\Vert }_F}[0,r]$	r max ⁡ { ∥ X ∥ F , r } X \dfrac{r}{\max\{\Vert\mathbf{X}\Vert_F,r\}}\mathbf{X} max{∥X∥F​,r}r​X	$r>0$	引理2
{ X : T r ( X ) ≤ b } \{\mathbf{X}:\mathrm{Tr}(\mathbf{X})\le b\} {X:Tr(X)≤b}	$\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{v}){\mathbf{U}}^T,\mathbf{v}=\mathbf{\lambda }(\mathbf{X})-\frac{[{\mathbf{e}}^T\mathbf{\lambda }(\mathbf{X})-b{]}_{+}}{n}\mathbf{e}$	$b\in \mathbb{R}$	引理2
${{\rm Y}}_n$	$\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{v}){\mathbf{U}}^T,\mathbf{v}=[\mathbf{\lambda }(\mathbf{X})-{\mu }^{\ast }\mathbf{e}{]}_{+}$, 其中${\mu }^{\ast }\in \mathbb{R}$满足${\mathbf{e}}^T[\mathbf{\lambda }(\mathbf{X})-{\mu }^{\ast }\mathbf{e}{]}_{+}=1$	-	推论1
$B_{\Vert \cdot {\Vert }_{S_1}}[0,\alpha ]$	$\{\begin{array}{ll}\mathbf{X},& \Vert \mathbf{X}{\Vert }_{S_1}\le \alpha ,\\ \mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\mathcal{T}}_{{\beta }^{\ast }}(\mathbf{\lambda }(\mathbf{X}))){\mathbf{U}}^T,& \Vert \mathbf{X}{\Vert }_{S_1}>\alpha ,\end{array}\Vert {\mathcal{T}}_{{\beta }^{\ast }}(\mathbf{\lambda }(\mathbf{X})){\Vert }_1=\alpha ,{\beta }^{\ast }>0$	$\alpha >0$	例14

3. ${\mathbb{R}}^{m\times n}$上的对称谱函数

设$m,n$为两个正整数, r = min ⁡ { m , n } r=\min\{m,n\} r=min{m,n}. 我们记$\mathbf{\sigma }:{\mathbb{R}}^{m\times n}\to {\mathbb{R}}^r$为奇异值向量函数, 即将任一个$\mathbf{X}\in {\mathbb{R}}^{m\times n}$映射到它的奇异值向量$({\sigma }_1(\mathbf{X}),{\sigma }_2(\mathbf{X}),\dots ,{\sigma }_r(\mathbf{X}){)}^T$, 其中${\sigma }_1(\mathbf{X})\ge {\sigma }_2(\mathbf{X})\ge \cdots \ge {\sigma }_r(\mathbf{X})\ge 0$. 对$\forall \mathbf{v}\in {\mathbb{R}}^r$, 矩阵$\mathrm{d}\mathrm{g}(\mathbf{v})$是$m\times n$矩阵, 其$(i,j)$元定义为$$\mathrm{d}\mathrm{g}(\mathbf{v}{)}_{i,j}=\{\begin{array}{ll}{v}_i,& i=j,\\ 0,& 其它.\end{array}$$即算子$\mathrm{d}\mathrm{g}(\cdot )$将$r$维向量映射到广义$m\times n$对角阵³. 本节中$m,n,r$是固定的. 本节中分析推导的思路与上一节十分类似, 但为了叙述的完整性, 我们仍然会给出所有的证明.

我们首先注意到$\forall \mathbf{X}\in {\mathbb{R}}^{m\times n}$, 都有奇异值分解, 即有$\mathbf{U}\in {\mathbb{O}}^m,\mathbf{V}\in {\mathbb{O}}^n$, 使得$\mathbf{X}=\mathbf{U}\mathrm{d}\mathrm{g}(\mathbf{\sigma }(\mathbf{X})){\mathbf{V}}^T$. 下面定义${\mathbb{R}}^{m\times n}$上的谱函数.

定义6 (${\mathbb{R}}^{m\times n}$上的谱函数) 我们称正常函数$g:{\mathbb{R}}^{m\times n}\to (-\infty ,\infty ]$为${\mathbb{R}}^{m\times n}$上的谱函数, 若存在正常函数$f:{\mathbb{R}}^r\to (-\infty ,\infty ]$, 使得$g=f\circ \mathbf{\sigma }$.

类似于第2节, 若$g=f\circ \mathbf{\sigma }$, 我们就称$f$(未必唯一)为关联函数. 而我们主要讨论的是关联函数是绝对排列对称函数的谱函数.

定义7 (${\mathbb{R}}^{m\times n}$上的对称谱函数) 我们称正常函数$f:{\mathbb{R}}^{m\times n}\to (-\infty ,\infty ]$为${\mathbb{R}}^{m\times n}$上的对称谱函数, 若存在正常绝对排列对称函数$f:{\mathbb{R}}^r\to (-\infty ,\infty ]$, 使得$g=f\circ \mathbf{\sigma }$.

例11 (Schatten $p$-范数) 设$p\in [1,\infty ]$. 则Schatten $p$-范数⁴定义为$$\Vert \mathbf{X}{\Vert }_{S_p}=\Vert \mathbf{\sigma }(\mathbf{X}){\Vert }_p,\forall \mathbf{X}\in {\mathbb{R}}^{m\times n}.$$可以证明, 在$p\in [1,\infty ]$时, Schatten $p$-范数确实是一个范数⁵. $p$取一些特殊值的情形如下:

• 迹范数 (Schatten $1$-范数) – 也称作核范数(nuclear norm)⁶:$$\Vert \mathbf{X}{\Vert }_{S_1}=\sum _{i=1}^r{\sigma }_i(\mathbf{X}).$$
• 谱范数 (Schatten $\infty$-范数):$$\Vert \mathbf{X}{\Vert }_{S_{\infty }}={\sigma }_1(\mathbf{X})=\Vert \mathbf{X}{\Vert }_{2,2}.$$
• Frobenius范数 (Schatten $2$-范数):$$\Vert \mathbf{X}{\Vert }_{S_2}=\sqrt{\sum _{i=1}^r{\sigma }_i(\mathbf{X}{)}^2}=\sqrt{\mathrm{T}\mathrm{r}({\mathbf{X}}^T\mathbf{X})}.$$

Schatten $p$-范数是${\mathbb{R}}^{m\times n}$上的对称谱函数, 其关联函数为${\mathbb{R}}^r$上的${\ell }_p$-范数. 后者显然是绝对排列对称函数.

例12 (Ky Fan $k$-范数) 记$x_{⟨i⟩}$为$\mathbf{x}$按模第$i$大的分量. 函数$f_k(\mathbf{x})={\sum }_{i=1}^k\left|x_{⟨i⟩}\right|$显然是绝对排列对称函数. 而由它所关联的对称谱函数就是所谓的Ky Fan $k$-范数:$$\Vert \mathbf{X}{\Vert }_{⟨k⟩}=f_k(\mathbf{\sigma }(\mathbf{X}))=\sum _{i=1}^k{\sigma }_i(\mathbf{X}).$$由定义, $\Vert \cdot {\Vert }_{⟨1⟩}$是谱范数, 即Schatten $\infty$-范数; $\Vert \cdot {\Vert }_{⟨r⟩}$是迹范数, 也即Schatten $1$-范数. Ky Fan $k$-范数是范数的证明可见这里.

在分析${\mathbb{R}}^{m\times n}$上的谱函数时常用的一个不等式同样给出了两矩阵内积的上界. 这一上界要用到二者的奇异值向量, 对应了前面的Fan不等式. 这里只叙述, 不证明.

定理6 (von Neumann迹不等式) 对$\forall \mathbf{X},\mathbf{Y}\in {\mathbb{R}}^{m\times n}$, 有$$⟨\mathbf{X},\mathbf{Y}⟩\le ⟨\mathbf{\sigma }(\mathbf{X}),\mathbf{\sigma }(\mathbf{Y})⟩.$$等式成立当且仅当$\mathbf{X},\mathbf{Y}$可同时奇异值分解, 即存在$\mathbf{U}\in {\mathbb{O}}^m,\mathbf{V}\in {\mathbb{O}}^n$, 使得$$\begin{array}{rl}\mathbf{X}& =\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\sigma }(\mathbf{X})){\mathbf{V}}^T,\\ \mathbf{Y}& =\mathbf{U}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\sigma }(\mathbf{Y})){\mathbf{V}}^T.\end{array}$$

3.1 谱共轭公式

类似于${\mathbb{S}}^n$的情形, ${\mathbb{R}}^{m\times n}$中也有谱共轭公式.

定理7 (${\mathbb{R}}^{m\times n}$上的谱共轭公式) 设$f:\mathbb{E}\to (-\infty ,\infty ]$为绝对排列对称函数. 则$$(f\circ \mathbf{\sigma }{)}^{\ast }=f^{\ast }\circ \mathbf{\sigma }.$$

证明: 设$\mathbf{Y}\in {\mathbb{R}}^{m\times n}$. 于是 ( f ∘ σ ) ∗ ( Y ) = max ⁡ X ∈ R m × n { T r ( X Y ) − f ( σ ( X ) ) } ≤ max ⁡ X ∈ R m × n { ⟨ σ ( X ) , σ ( Y ) ⟩ − f ( σ ( X ) ) }   ( von Neumann迹不等式 ) ≤ max ⁡ x ∈ R r { ⟨ x , σ ( Y ) ⟩ − f ( x ) } = ( f ∗ ∘ σ ) ( Y ) , \begin{aligned}(f\circ\bm{\sigma})^*(\mathbf{Y})&=\max_{\mathbf{X}\in\mathbb{R}^{m\times n}}\{\mathrm{Tr}(\mathbf{XY})-f(\bm{\sigma}(\mathbf{X}))\}\\&\le\max_{\mathbf{X}\in\mathbb{R}^{m\times n}}\{\langle\bm{\sigma}(\mathbf{X}),\bm{\sigma}(\mathbf{Y})\rangle-f(\bm{\sigma}(\mathbf{X}))\}\,(\text{von Neumann迹不等式})\\&\le\max_{\mathbf{x}\in\mathbb{R}^r}\{\langle\mathbf{x},\bm{\sigma}(\mathbf{Y})\rangle-f(\mathbf{x})\}\\&=(f^*\circ\bm{\sigma})(\mathbf{Y}),\end{aligned} (f∘σ)∗(Y)​=X∈Rm×nmax​{Tr(XY)−f(σ(X))}≤X∈Rm×nmax​{⟨σ(X),σ(Y)⟩−f(σ(X))}(von Neumann迹不等式)≤x∈Rrmax​{⟨x,σ(Y)⟩−f(x)}=(f∗∘σ)(Y),​反过来, 设$\mathbf{Y}$有奇异值分解$$\mathbf{Y}=\mathbf{U}\mathrm{d}\mathrm{g}(\mathbf{\sigma }(\mathbf{Y})){\mathbf{V}}^T(\mathbf{U}\in {\mathbb{O}}^m,\mathbf{V}\in {\mathbb{O}}^n).$$于是 ( f ∗ ∘ σ ) ( Y ) = max ⁡ x ∈ R r { ⟨ x , σ ( Y ) ⟩ − f ( x ) } = max ⁡ x ∈ R r { T r ( d g ( x ) T d g ( σ ( Y ) ) ) − f ( x ) } = max ⁡ x ∈ R r { T r ( d g ( x ) T U T Y V ) − f ( x ↓ ) } = max ⁡ x ∈ R r { T r ( d g ( x ) T U T Y V ) − f ( σ ( U d g ( x ) V T ) ) } = max ⁡ x ∈ R r { T r ( V d g ( x ) T U T Y ) − f ( σ ( U d g ( x ) V T ) ) } ≤ max ⁡ Z ∈ R m × n { T r ( Z T Y ) − f ( σ ( Z ) ) } = ( f ∘ σ ) ∗ ( Y ) . \begin{aligned}(f^*\circ\bm{\sigma})(\mathbf{Y})&=\max_{\mathbf{x}\in\mathbb{R}^r}\{\langle\mathbf{x},\bm{\sigma}(\mathbf{Y})\rangle-f(\mathbf{x})\}\\&=\max_{\mathbf{x}\in\mathbb{R}^r}\left\{\mathrm{Tr}\left(\mathrm{dg}(\mathbf{x})^T\mathrm{dg}(\bm{\sigma}(\mathbf{Y}))\right)-f(\mathbf{x})\right\}\\&=\max_{\mathbf{x}\in\mathbb{R}^r}\left\{\mathrm{Tr}\left(\mathrm{dg}(\mathbf{x})^T\mathbf{U}^T\mathbf{YV}\right)-f(\mathbf{x}^{\downarrow})\right\}\\&=\max_{\mathbf{x}\in\mathbb{R}^r}\left\{\mathrm{Tr}\left(\mathrm{dg}(\mathbf{x})^T\mathbf{U}^T\mathbf{YV}\right)-f\left(\bm{\sigma}\left(\mathbf{U}\mathrm{dg}(\mathbf{x})\mathbf{V}^T\right)\right)\right\}\\&=\max_{\mathbf{x}\in\mathbb{R}^r}\left\{\mathrm{Tr}\left(\mathbf{V}\mathrm{dg}(\mathbf{x})^T\mathbf{U}^T\mathbf{Y}\right)-f\left(\bm{\sigma}\left(\mathbf{U}\mathrm{dg}(\mathbf{x})\mathbf{V}^T\right)\right)\right\}\\&\le\max_{\mathbf{Z}\in\mathbb{R}^{m\times n}}\left\{\mathrm{Tr}\left(\mathbf{Z}^T\mathbf{Y}\right)-f(\bm{\sigma}(\mathbf{Z}))\right\}\\&=(f\circ\bm{\sigma})^*(\mathbf{Y}).\end{aligned} (f∗∘σ)(Y)​=x∈Rrmax​{⟨x,σ(Y)⟩−f(x)}=x∈Rrmax​{Tr(dg(x)Tdg(σ(Y)))−f(x)}=x∈Rrmax​{Tr(dg(x)TUTYV)−f(x↓)}=x∈Rrmax​{Tr(dg(x)TUTYV)−f(σ(Udg(x)VT))}=x∈Rrmax​{Tr(Vdg(x)TUTY)−f(σ(Udg(x)VT))}≤Z∈Rm×nmax​{Tr(ZTY)−f(σ(Z))}=(f∘σ)∗(Y).​

例13 利用${\mathbb{R}}^{m\times n}$上的谱共轭公式, 我们可以推出许多${\mathbb{R}}^{m\times n}$上对称谱函数的共轭函数表达式. 下表中, $\alpha >0$

$g(\mathbf{X})$	$\mathrm{d}\mathrm{o}\mathrm{m}(g)$	$g^{\ast }(\mathbf{Y})$	$\mathrm{d}\mathrm{o}\mathrm{m}(g^{\ast })$	参考第四章
$\alpha {\sigma }_1(\mathbf{X})(\alpha >0)$	${\mathbb{R}}^{m\times n}$	${\delta }_{B_{\Vert \cdot {\Vert }_{S_1}}[0,\alpha ]}(\mathbf{Y})$	$B_{\Vert \cdot {\Vert }_{S_1}}[0,\alpha ]$	4.12节
$\alpha \Vert \mathbf{X}{\Vert }_F(\alpha >0)$	${\mathbb{R}}^{m\times n}$	${\delta }_{B_{\Vert \cdot {\Vert }_F}[0,\alpha ]}(\mathbf{Y})$	$B_{\Vert \cdot {\Vert }_F}[0,\alpha ]$	4.12节
$\alpha \Vert \mathbf{X}{\Vert }_F^2(\alpha >0)$	${\mathbb{R}}^{m\times n}$	$\frac{1}{4\alpha }\Vert \mathbf{Y}{\Vert }_F^2$	${\mathbb{R}}^{m\times n}$	4.6节
$\alpha \Vert \mathbf{X}{\Vert }_{S_1}(\alpha >0)$	${\mathbb{R}}^{m\times n}$	${\delta }_{B_{\Vert \cdot {\Vert }_{\infty }}[0,\alpha ]}(\mathbf{Y})$	$B_{\Vert \cdot {\Vert }_{\infty }}[0,\alpha ]$	4.12节

由谱共轭公式, 我们可以推出${\mathbb{R}}^{m\times n}$上的对称谱函数是闭凸函数当且仅当其关联函数是闭凸函数.

定理8 (${\mathbb{R}}^{m\times n}$上的对称谱函数的闭凸性) 设$F:{\mathbb{R}}^{m\times n}\to (-\infty ,\infty ]$定义为$F=f\circ \mathbf{\sigma }$, 其中$f:{\mathbb{R}}^r\to (-\infty ,\infty ]$为绝对排列对称的正常函数. 则$F$是闭凸函数当且仅当$f$是闭凸函数.

证明: 由谱共轭公式, $$F^{\ast }=(f\circ \mathbf{\sigma }{)}^{\ast }=f^{\ast }\circ \mathbf{\sigma }.$$再由对称共轭定理, $f^{\ast }$也是绝对排列对称函数, 因此再由谱共轭公式, 就有$$F^{\ast \ast }=(f^{\ast }\circ \mathbf{\sigma }{)}^{\ast }=f^{\ast \ast }\circ \mathbf{\sigma }.$$

• 若$f$是闭凸函数, 则根据第四章定理1, 就有$f^{\ast \ast }=f$. 因此$$F^{\ast \ast }=f\circ \mathbf{\sigma }=F.$$所以$F$是$F^{\ast }$的共轭函数, 于是$F$是闭凸函数.
• 若$F$是闭凸函数, 由于它还是正常函数, 因此也有$F^{\ast \ast }=F$. 于是$$f\circ \mathbf{\sigma }=F=F^{\ast \ast }=f^{\ast \ast }\circ \mathbf{\sigma }.$$对$\forall \mathbf{x}\in {\mathbb{R}}^r$, $$f(|\mathbf{x}{|}^{\downarrow })=f(\mathbf{\sigma }(\mathrm{d}\mathrm{g}(\mathbf{x})))=f^{\ast \ast }(\mathbf{\sigma }(\mathrm{d}\mathrm{g}(\mathbf{x})))=f^{\ast \ast }(|\mathbf{x}{|}^{\downarrow }).$$因为$f,f^{\ast \ast }$都是绝对排列对称函数, 因此$$f(\mathbf{x})=f(|\mathbf{x}{|}^{\downarrow })=f^{\ast \ast }(|\mathbf{x}{|}^{\downarrow })=f^{\ast \ast }(\mathbf{x}),\forall \mathbf{x}\in {\mathbb{R}}^r.$$所以$f=f^{\ast \ast }$, $f$是$f^{\ast }$的共轭函数, 是闭凸函数.

3.2 ${\mathbb{R}}^{m\times n}$上对称谱函数的临近算子

下面的定理9给出了计算${\mathbb{R}}^{m\times n}$上正常闭凸谱函数临近算子的公式. 其中要用到矩阵的奇异值分解以及关联函数的临近算子.

定理9 (${\mathbb{R}}^{m\times n}$上的谱临近公式) 设$F:{\mathbb{R}}^{m\times n}\to (-\infty ,\infty ]$定义为$F=f\circ \mathbf{\sigma }$, 其中$f:{\mathbb{R}}^r\to (-\infty ,\infty ]$为绝对排列对称的正常闭凸函数⁷. 设$\mathbf{X}\in {\mathbb{R}}^{m\times n}$有奇异值分解$\mathbf{X}=\mathbf{U}\mathrm{d}\mathrm{g}(\mathbf{\sigma }(\mathbf{X})){\mathbf{V}}^T$, 其中$\mathbf{U}\in {\mathbb{O}}^m,\mathbf{V}\in {\mathbb{O}}^n$. 则$${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_F(\mathbf{X})=\mathbf{U}\mathrm{d}\mathrm{g}({\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_f(\mathbf{\sigma }(\mathbf{X}))){\mathbf{V}}^T.$$

证明: 由定义$${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_F(\mathbf{X})=\arg \underset{\mathbf{Z}\in {\mathbb{R}}^{m\times n}}{\min }\left\{F(\mathbf{Z})+\frac{1}{2}\Vert \mathbf{Z}-\mathbf{X}{\Vert }_F^2\right\}.$$记$\mathbf{D}=\mathrm{d}\mathrm{g}(\mathbf{\sigma }(\mathbf{X}))$, 于是对$\forall \mathbf{Z}\in {\mathbb{R}}^{m\times n}$,$$F(\mathbf{Z})+\frac{1}{2}\Vert \mathbf{Z}-\mathbf{X}{\Vert }_F^2=F(\mathbf{Z})+\frac{1}{2}\Vert {\mathbf{Z}-\mathbf{U}\mathbf{D}\mathbf{V}}^T{\Vert }_F^2\stackrel{(\ast )}{=}F({\mathbf{U}}^T\mathbf{Z}\mathbf{V})+\frac{1}{2}\Vert {\mathbf{U}}^T\mathbf{Z}\mathbf{V}-\mathbf{D}{\Vert }_F^2,$$其中$(\ast )$式是因为$F(\mathbf{Z})=f(\mathbf{\sigma }(\mathbf{Z}))=f(\mathbf{\sigma }({\mathbf{U}}^T\mathbf{Z}\mathbf{V}))=F({\mathbf{U}}^T\mathbf{Z}\mathbf{V})$. 做变量替换$\mathbf{W}={\mathbf{U}}^T\mathbf{Z}\mathbf{V}$, 于是${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_F(\mathbf{X})={\mathbf{U}\mathbf{W}}^{\ast }{\mathbf{V}}^T$, 其中${\mathbf{W}}^{\ast }$是$$\underset{\mathbf{W}\in {\mathbb{R}}^{m\times n}}{\min }\left\{G(\mathbf{W})\equiv F(\mathbf{W})+\frac{1}{2}\Vert \mathbf{W}-\mathbf{D}{\Vert }_F^2\right\}$$的唯一最优解. 下证${\mathbf{W}}^{\ast }$是广义对角阵. 取 i ∈ { 1 , 2 , … , r } i\in\{1,2,\ldots,r\} i∈{1,2,…,r}. 令${\mathbf{\Sigma }}_i^{(1)}\in {\mathbb{R}}^{m\times m},{\mathbf{\Sigma }}_i^{(2)}\in {\mathbb{R}}^{n\times n}$分别为仅有$(i,i)$元是$-1$, 其余对角元全$1$的$m\times m,n\times n$广义对角阵. 于是${\mathbf{\Sigma }}_i^{(1)}\in {\mathbb{O}}^m,{\mathbf{\Sigma }}_i^{(2)}\in {\mathbb{O}}^n$. 定义${\tilde{\mathbf{W}}}_i={\mathbf{\Sigma }}_i^{(1)}{\mathbf{W}}^{\ast }{\mathbf{\Sigma }}_i^{(2)}$. 于是$$F({\tilde{\mathbf{W}}}_i)=F({\mathbf{\Sigma }}_i^{(1)}{\mathbf{W}}^{\ast }{\mathbf{\Sigma }}_i^{(2)})=f(\mathbf{\sigma }({\mathbf{\Sigma }}_i^{(1)}{\mathbf{W}}^{\ast }{\mathbf{\Sigma }}_i^{(2)}))=f(\mathbf{\sigma }({\mathbf{W}}^{\ast }))=F({\mathbf{W}}^{\ast }),$$进一步有$$\begin{array}{rl}G({\tilde{\mathbf{W}}}_i)& =F({\tilde{\mathbf{W}}}_i)+\frac{1}{2}\Vert {\tilde{\mathbf{W}}}_i-\mathbf{D}{\Vert }_F^2\\ & =F({\mathbf{\Sigma }}_i^{(1)}{\mathbf{W}}^{\ast }{\mathbf{\Sigma }}_i^{(2)})+\frac{1}{2}\Vert {\mathbf{\Sigma }}_i^{(1)}{\mathbf{W}}^{\ast }{\mathbf{\Sigma }}_i^{(2)}-\mathbf{D}{\Vert }_F^2\\ & =F({\mathbf{W}}^{\ast })+\frac{1}{2}\Vert {\mathbf{W}}^{\ast }-{\mathbf{\Sigma }}_i^{(1)}\mathbf{D}{\mathbf{\Sigma }}_i^{(2)}{\Vert }_F^2\\ & =F({\mathbf{W}}^{\ast })+\frac{1}{2}\Vert {\mathbf{W}}^{\ast }-\mathbf{D}{\Vert }_F^2\\ & =G({\mathbf{W}}^{\ast }).\end{array}$$因此${\tilde{\mathbf{W}}}_i$也是最优解, 从而由最优解的唯一性知${\mathbf{W}}^{\ast }={\mathbf{\Sigma }}_i^{(1)}{\mathbf{W}}^{\ast }{\mathbf{\Sigma }}_i^{(2)}$. 比较等式两边第$i$行与第$i$列的元素即知$W_{ij}^{\ast }=0,W_{ji}^{\ast }=0,\forall j\ne i$. 由于这对 ∀ i ∈ { 1 , 2 , … , r } \forall i\in\{1,2,\ldots,r\} ∀i∈{1,2,…,r}都成立, 因此${\mathbf{W}}^{\ast }$是广义对角阵, 从而可写作${\mathbf{W}}^{\ast }=\mathrm{d}\mathrm{g}({\mathbf{w}}^{\ast })$, 其中${\mathbf{w}}^{\ast }$是$$\underset{\mathbf{w}}{\min }\left\{F(\mathrm{d}\mathrm{g}(\mathbf{w}))+\frac{1}{2}\Vert \mathrm{d}\mathrm{g}(\mathbf{w})-\mathbf{D}{\Vert }_F^2\right\}$$的最优解. 由于$F(\mathrm{d}\mathrm{g}(\mathbf{w}))=f(|\mathbf{w}{|}^{\downarrow })=f(\mathbf{w}),\Vert \mathrm{d}\mathrm{g}(\mathbf{w})-\mathbf{D}{\Vert }_F^2=\Vert \mathbf{w}-\mathbf{\sigma }(\mathbf{X}){\Vert }_2^2$, 因此$${\mathbf{w}}^{\ast }=\arg \underset{\mathbf{w}}{\min }\left\{f(\mathbf{w})+\frac{1}{2}\Vert \mathbf{w}-\mathbf{\sigma }(\mathbf{X}){\Vert }_2^2\right\}={\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_f(\mathbf{\sigma }(\mathbf{X})).$$从而${\mathbf{W}}^{\ast }=\mathrm{d}\mathrm{g}({\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_f(\mathbf{\sigma }(\mathbf{X})))$, 代入即得证.

例14 利用${\mathbb{R}}^{m\times n}$上的谱临近公式, 我们就可以计算对称谱函数的prox. 下表中, $\alpha >0$, $\mathbf{U}\in {\mathbb{O}}^m,\mathbf{V}\in {\mathbb{O}}^n$是满足$\mathbf{X}=\mathbf{U}\mathrm{d}\mathrm{g}(\mathbf{\sigma }(\mathbf{X})){\mathbf{V}}^T$的正交阵.

$F(\mathbf{X})$	${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_F(\mathbf{X})$	参考第六章
$\alpha \Vert \mathbf{X}{\Vert }_F^2$	$\frac{1}{1+2\alpha }\mathbf{X}$	2.3节
$\alpha \Vert \mathbf{X}{\Vert }_F$	( 1 − α max ⁡ { ∥ X ∥ F , α } ) X \left(1-\dfrac{\alpha}{\max\{\Vert\mathbf{X}\Vert_F,\alpha\}}\right)\mathbf{X} (1−max{∥X∥F​,α}α​)X	例8
$\alpha \Vert \mathbf{X}{\Vert }_{S_1}$	$\mathbf{U}\mathrm{d}\mathrm{g}({\mathcal{T}}_{\alpha }(\mathbf{\sigma }(\mathbf{X}))){\mathbf{V}}^T$	例2
$\alpha \Vert \mathbf{X}{\Vert }_{S_{\infty }}$	$\mathbf{X}-\alpha \mathbf{U}\mathrm{d}\mathrm{g}(P_{B_{\Vert \cdot {\Vert }_1}[0,1]}(\mathbf{\sigma }(\mathbf{X})/\alpha )){\mathbf{V}}^T$	例20
$\alpha \Vert \mathbf{X}{\Vert }_{⟨k⟩}$	$\mathbf{X}-\alpha \mathbf{U}\mathrm{d}\mathrm{g}(P_C(\mathbf{\sigma }(\mathbf{X})/\alpha )){\mathbf{V}}^T,C=B_{\Vert \cdot {\Vert }_1}[0,k]\cap B_{\Vert \cdot {\Vert }_{\infty }}[0,1]$	例23

我们称$T\subset {\mathbb{R}}^{m\times n}$为${\mathbb{R}}^{m\times n}$中的对称谱集, 若其指示函数${\delta }_T$是${\mathbb{R}}^{m\times n}$上的对称谱函数, 即${\delta }_T={\delta }_C\circ \mathbf{\sigma }$, 其中${\delta }_C$为绝对排列对称函数. 称$C\subset {\mathbb{R}}^r$为关联集合. 因为${\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_{{\delta }_T}=P_T,{\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{x}}_{{\delta }_C}=P_C$, 所以由谱共轭公式, 若$C$非空闭凸, 则$$P_T(\mathbf{X})=\mathbf{U}\mathrm{d}\mathrm{g}(P_C(\mathbf{\sigma }(\mathbf{X}))){\mathbf{V}}^T,\forall \mathbf{X}=\mathbf{U}\mathrm{d}\mathrm{g}(\mathbf{\sigma }(\mathbf{X})){\mathbf{V}}^T\in {\mathbb{R}}^{m\times n},\mathbf{U}\in {\mathbb{O}}^m,\mathbf{V}\in {\mathbb{O}}^n.$$

例15 利用上面推导的${\mathbb{R}}^{m\times n}$上的对称谱集指示函数的prox公式, 我们就可以计算到${\mathbb{R}}^{m\times n}$中的一些对称谱集上的正交投影. 下表中, $\mathbf{U},\mathbf{V}$为$\mathbf{X}$谱分解中的正交阵.

集合$(T)$	$P_T(\mathbf{X})$	假设条件	参考第六章
$B_{\Vert \cdot {\Vert }_{S_{\infty }}}[0,\alpha ]$	U d g ( v ) V T ,   v i = min ⁡ { σ i ( X ) , α } \mathbf{U}\mathrm{dg}(\mathbf{v})\mathbf{V}^T,\,v_i=\min\{\sigma_i(\mathbf{X}),\alpha\} Udg(v)VT,vi​=min{σi​(X),α}	$\alpha >0$	引理2
$B_{\Vert \cdot {\Vert }_F}[0,r]$	r max ⁡ { ∥ X ∥ F , r } X \dfrac{r}{\max\{\Vert\mathbf{X}\Vert_F,r\}}\mathbf{X} max{∥X∥F​,r}r​X	$r>0$	引理2
$B_{\Vert \cdot {\Vert }_{S_1}}[0,\alpha ]$	$\{\begin{array}{ll}\mathbf{X},& \Vert \mathbf{X}{\Vert }_{S_1}\le \alpha ,\\ \mathbf{U}\mathrm{d}\mathrm{g}({\mathcal{T}}_{{\beta }^{\ast }}(\mathbf{\sigma }(\mathbf{X}))){\mathbf{V}}^T,& \Vert \mathbf{X}{\Vert }_{S_1}>\alpha ,\end{array}\Vert {\mathcal{T}}_{{\beta }^{\ast }}(\mathbf{\sigma }(\mathbf{X})){\Vert }_1=\alpha ,{\beta }^{\ast }>0$	$\alpha >0$	例14

---

1. 线性代数理论告诉我们, 两矩阵可同时相似对角化的一个充分条件是二者可交换. 而这里同时正交对角化则可能需要更强的条件. ↩︎

2. 从而由定理4, $F$也是正常闭凸函数. 因此二者的prox都是单值映射. ↩︎

3. 这里要与$\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\cdot )$区分开. 后者专指映射到方对角阵. ↩︎

4. 事实上, Schatten $p$-范数才是向量$p$-范数的自然推广. 二者具有诸多相同的性质. ↩︎

5. 证明可见Rajendra Bhatia所著Matrix Analysis的定理IV.2.1. ↩︎

6. 核范数可以视为矩阵秩的凸近似, 这在带秩约束的非凸问题求解中尤其重要. ↩︎

7. 从而由定理4, $F$也是正常闭凸函数. 因此二者的prox都是单值映射. ↩︎