矩阵范数的次微分the subdifferential of some Matrix Norms

最新推荐文章于 2024-03-15 10:18:17 发布

janehand

最新推荐文章于 2024-03-15 10:18:17 发布

阅读量5k

点赞数 1

分类专栏：矩阵求导

本文链接：https://blog.csdn.net/janehong1314/article/details/84951721

版权

矩阵求导专栏收录该内容

1 篇文章 0 订阅

订阅专栏

方向导数

函数在 $\bar{x}$ 处，方向的方向导数：

$f(\bar{x},d)=\lim_{t\rightarrow 0^{+}}\frac{f(\bar{x}+td)-f(\bar{x})}{t}$

当方向导数 $f(\bar{x},d)$ 关于线性的，即 $f(\bar{x},d)=<a,d>$ ,那么我们称在 $\bar{x}$ 这一点 Gâteaux differentive，并且

导数 $\triangledown f(\bar{x})=a$ .。

次梯度与次微分

令是一个凸的且合适的函数，即 $domf ={ x \inE | f(x)<\infty }$ （域空间非空），在 $\hat{x}$ , 如果 $\Phi$ 满足，对任意,

$\Phi\cdot (x-\hat{x})\leqslant f(x)-f(\hat{x})$

就说 $\Phi$ 是在 $\hat{x}$ 这一点的次梯度。

例1，对于 f(x)=|x| , 在 0 这一点:

$\Phi (x-0)\leq |x|$ ,

容易求得： $\Phi \subseteq [-1,1]$ , 因此这个集合中的任一点都是 x=0 这一点的次梯度，这个集合就叫次微分。

例2，对于 f(x) = $x^{^{2}}$ ，在 0 这一点,

$\Phi x\leqslant x^{2}$ , $\Phi =0$ ，

可以看出对于光滑的函数，次梯度就等于通常意义上的梯度。

次梯度应用

次梯度有如下重要性质：

对于任何凸且合适的函数 ,点 $\hat{x}$ 是的极值点，当且仅当满足条件 $0\subseteq \partial f(\hat{x})$ , 即 0 要是函数在这一点的次梯度。

例1： proximal mapping

$min: \frac{1}{2}(a-y^{2})+\lambda |y|$

$0\subseteq -(a-y)+\lambda \partial|y|$ , $a-y\subseteq \lambda \partial |y|$

1. 当 $y=0,a\subseteq \lambda [-1,1]$ ; while $|a|\leq \lambda ;$

2. 当 $y>0,a-y=\lambda ,y=a-\lambda ;$ while $a>\lambda$ ;

3. 当 $y<0,a-y=-\lambda ,y=a+\lambda$ ;while $a<-\lambda$ ;

矩阵范数次微分

令 $||\bullet ||$ 是矩阵范数，如果是 $m\times n$ 维实矩阵，那么 ||A|| 的次微分被如下定义：

$\partial ||A||={G\in R^{m\times n}:||B||\geq ||A||+trace\left [ (B-A)^{T}G \right ],all B\in R^{m\times n}}$

可以看到和函数次微分的定义本质上是一样的。

在这里主要考虑正交不变范数，即 ||UAV||=||A|| ， U,V 是正交的。对于这一类范数，可以通过它的奇异值来定义。对A

做奇异值分解， $A=U\Sigma V^{T}$ ,奇异值按降序排列， $\sigma _{1}\geq ...\geq \sigma _{n}$ ,所有这一类范数可以定义成奇异值的函数， $||A||=\Phi (\sigma )$ ，

$\sigma =(\sigma _{1},...,\sigma _{n})^{T}$ 。例如当 $\Phi$ 是 $l_{_p}$ norm，可以得到 $||A||=||\sigma ||_{p}$ 。当p=1,定义了核范数；当p=2,定义了Frobenius 范数；当

p= $\infty$ ,最大奇异值，定义了谱范数，等等。对于这一类通过奇异值定义的范数，有如下定理：

Theorem 1. 方向导数

令 A,R 均为 $m\times n$ 的矩阵，对A 做奇异值分解，则A 的方向导数为：

$\lim_{\gamma \rightarrow 0^{+}}\frac{||A+\gamma R||-||A||}{\gamma }= \max_{d\in \partial \Phi (\sigma )}\sum_{i=1}^{n}d_{i}u_{i}^{T}Rv_{i}$

$u_{i},v_{i}$ 均是相对于 $\sigma _{i}$ 的奇异向量。

Theorem 2. 次微分

令D 是 $m\times n$ 的对角矩阵，则矩阵 A 的范数的次微分为：

$\partial ||A||=conv({UDV^{T},A=U\Sigma V^{T},d\in \partial \Phi (\sigma )})$

D是对角矩阵，对角元素是 $\Phi (\sigma )$ 的次梯度。conv是集合的convex hull, 即集合中元素的凸组合，对于一个矩阵来说，做奇异值分解时奇异值是唯一的，但奇异向量矩阵U和V不唯一。上式中，次微分中的任一元素 ,即次梯度，可以表示为：

$G=\sum \lambda _{i}U_{i}D_{i}V_{i}^{T}$ , $\lambda _{i}\geq 0,\sum \lambda _{i}=1$

例1. 核范数 $\Phi (\sigma )=||\sigma ||_{1}$ 。

对A做奇异值分解， $A=U\Sigma V^{T}$ ,当 A 有s个0奇异值时， $\partial ||\sigma ||_{1}=\left \{ x\in R^{n}:|x_{i}\leq 1,x_{i}=1,i=1,...,n-s| \right \}$ 。那么对角矩阵的前 n-s个对角元素为1，后s个元素的绝对值小于等于1.将划分成 $U^{1},U^{2}$ ,划分成 $V^{1},V^{2}$ , $U^{1},V^{1}$ 有n-s个列。

让 $G\in \partial ||A||$ , 然后

$G=\sum_{i}\lambda _{i}U_{i}D_{i}V_{i}^{T}$

其中 $\sum \lambda _{i}=1$ , $\lambda _{i}\geq 0$ , $A=U_{i}\Sigma V_{i}^{T}$ , $D_{i}$ 是对角矩阵，对角元素是 $||\sigma ||_{1}$ 的次梯度。

由于不同奇异向量相差一个正交矩阵，因此，

$G=\sum_{i}\lambda _{i} U^{(1)}X_{i}X_{i}^{T}V^{(1)T}+\lambda _{i}U^{(2)}Y_{i}W^{i}Z_{i}^{T}V^{(2)T} =U^{(1)}V^{(1)}^{T}+\sum_{i} \lambda _{i}U^{(2)}Y_{i}W^{i}Z_{i}^{T}V^{(2)}^{T} =U^{(1)}V^{(1)}^{T}+U^{(2)}TV^{(2)}^{T}$

这里 $X_{i},Y_{i},Z_{i}$ 分别是n-s,m-n+s,s维的正交矩阵。 $W_{i}$ 是 $(m-n+s)\times s$ 维的对角矩阵， $\sigma _{1}$ 表示矩阵最大奇异值。

$T=\sum_{i}\lambda _{i}Y_{i}W_{i}Z_{i}^{T},\sigma _{1}(T)=\sigma _{1}(\lambda _{i}Y_{i}W_{i}Z_{i}^{T})\leq \sum_{i}\lambda _{i}\sigma _{1}(W_{i})\leq 1$