SVD分解和矩阵的Lipschitz条件等

Lipschitz条件

可以用如下的公式来表示Lipschitz条件：
$$||f(x)-f(y)||\le K||x-y||$$
这个公式限制了函数的上升的速率不可能太快，在二维笛卡尔坐标上可以表示为函数的斜率不能够超过一个常数$k$。

矩阵的Lipschitz条件

对于一个矩阵A如果想让其满足Lipschitz条件，那么需要满足下面的公式：
$$||Ax||\le ||Kx||其中K为一个常数,x为向量，A为一个变换矩阵$$
下面我们对这个公式进行分析：
$$\begin{array}{rl}||Ax||& \le K||x||\\ (Ax,Ax)& \le K^2(x,x)\\ 可知:(Ax,Ax)& =x^T{A}^{T}Ax=(A^{T}Ax,x)\\ 也可知:K^2(x,x)& =(K^{2}x,x)\\ 那么得到:(A^{T}Ax,x)& \le (K^{2}x,x)\\ ((A^{T}A-K^2)x,x)& \le 0\end{array}$$
可知$A^{T}A$是一个半正定矩阵。
因为$x^T{A}^{T}Ax$是一个范数表达式
所以$x^T{A}^{T}Ax永远\ge 0$,所以半正定
那么可以得到:
$$x^T(A^{T}A-K^2)\le 0$$
即：
$${\lambda }_{max(A^{T}A)}<\sqrt{K^2}$$
也就是:
$$谱范数\le \sqrt{K^2}$$

所以如果想要使一个矩阵具有1-Lipschitz 连续性，那么就让$$A/={\lambda }_{max}$$

SVD分解，奇异值分解

SVD的定义

如果一个矩阵$A_{m\ast m}$是一个实对称矩阵，那么$A=Q\Sigma Q^T$,其中$Q$为标准正交阵，$\Sigma$为对角矩阵。$\Sigma ={\left(\begin{array}{c}{\sigma }_1,0,0\\ 0,{\sigma }_2,0\\ 0,0,{\sigma }_3\end{array}\right)}_{m\ast n}$

但是如果对一个矩阵$A_{m\ast n}$那么我们想把它分解为$$A=U_{m\ast m}{\Sigma }_{m\ast n}{V}_{n\ast n}^T$$
并且$U,V$都是标准真正交阵，即:$U^{T}U=E,V^{T}V=E$，并且$U$称之为左奇异矩阵，$V^T$称之为右奇异矩阵。

SVD的求解

由上面可以知道$A=U_{m\ast m}{\Sigma }_{m\ast n}{V}_{n\ast n}^T$，那么我们求$A^{T}A$可以得到如下:
$$\begin{array}{rl}{A}^{T}A& =(U\Sigma V^T{)}^T(U\Sigma V^T)\\ & =V{\Sigma }^T{U}^{T}U\Sigma V^T\\ & =V\Sigma {\Sigma }^T{V}^T\\ 同理：A{A}^T& =U{\Sigma }^T\Sigma U^T\end{array}\text{\hspace{1em}(1)}$$
这首我们把$A^{T}A和A{A}^T$分别乘上$u_i,v_i(这是U和V的分量)$那么就可以得到下列的式子：
$$\begin{array}{rl}(A{A}^T)u_i& =U\Sigma {\Sigma }^T{U}^T{u}_i={\sigma }_i^2{u}_i(这里用到了单位正交矩阵和正交向量的知识)\\ (A^{T}A)v_i& ={\sigma }_i^2{v}_i\end{array}\text{\hspace{1em}(2)}$$
由上面的式子(2)可以知道，
$$\begin{gathered} U=(u_1,u_2,u_3)由(A{A}^T)的特征向量组成 \\ V=(v_1,v_2,v_3)由(A^{T}A)的特征向量组成 \\ 到这里我们就知道了如何把U和V求出来 \end{gathered}$$

那么如何求$\Sigma ={\left(\begin{array}{c}{\sigma }_1,0,0\\ 0,{\sigma }_2,0\\ 0,0,{\sigma }_3\end{array}\right)}_{m\ast n}$呢？

我们求$AV$可以表示为如下：
$$\begin{array}{rl}AV=U\Sigma V^{T}V& =U\Sigma \\ 由上可以推出:A(v_1,v_2,v_3)& =(u_1,u_2,u_3)\left(\begin{array}{c}{\sigma }_1,0,0\\ 0,{\sigma }_2,0\\ 0,0,{\sigma }_3\end{array}\right)\\ \Rightarrow (A{v}_1,A{v}_2,A{v}_3)& =({\sigma }_1{u}_1,{\sigma }_2{u}_2,{\sigma }_3{u}_3{)}_{m\ast n}\\ \Rightarrow A{v}_i& ={\sigma }_i{u}_i\\ \Rightarrow {\sigma }_i& =\frac{A{v}_i}{u_i}\end{array}\text{\hspace{1em}(3)}$$

到此我们已经可以求出SVD分解所需要的全部过程了。根据公式（2）求出$A{A}^T和A^{T}A$的$U,V和{\sigma }_i^2$根据公式（3）求出${\sigma }_i$。

注意$\Sigma {\Sigma }_{m,m}^T和{\Sigma }^T{\Sigma }_{n\ast n}$拥有一样的${\sigma }_i$，只是可能一个不满秩，一个满秩罢了。