SVD的讲解

目录 ?

1️⃣ 简单说一下特征值、特征向量与特征分解
   I. 特征值、特征向量与特征分解
   II. 几何意义
   III. 如何实现通过Matlab、Python实现
2️⃣详细解说SVD
   I. 几何意义
   I. 奇异值分解的推导过程
   I. SVD算例
   I. 如何通过Matlab和Python
3️⃣应用举例
   I. 特征值、特征向量与特征分解
4️⃣特征分解、奇异值分解的区别
   I. 特征分解、奇异值分解的区别

简单说一下特征值、特征向量与特征分解

特征值、特征向量与特征分解

Theory:
对于一个正阵$M$，满足如下：
$$Mx=\lambda x$$
其中$\lambda$被成为特征值，满足$||M-\lambda E||=0$再有$(M-\lambda E)x=0$，可计算其特征向量。
如果有了特征值和特征向量后呢，则可以将矩阵$M$用特征分解：
$$M=W\sum W^{-1}$$
$W=w_1,w_2,...,w_n$分别是特征值${\lambda }_1,{\lambda }_2,...,{\lambda }_n$对应的特征向量构成的方阵

几何意义

对应矩阵M,其对应的线性变化
$$Mx=x^{\prime }$$
上面这个式子，$Mx，x^{\prime }$是一个向量，$x,x^{\prime }$可能是不共线的(如图(b))，如果向量$Mx,x^{\prime }$满足$Mx=x^{\prime }=\lambda x$,则如图(b)，这说明了这个变换就是对向量x做一个拉伸或者压缩。

如何实现通过Matlab、Python实现

数学推导：
$$Mx=\lambda x$$
$$Mx-\lambda x=(M-\lambda E)x=0$$
齐次线性方程组有非零解，则$$||M-\lambda E||=0$$可求得特征向量
再带回，可得特征向量。
Matlab:

d = eig(M) % 求取矩阵M的特征值，向量形式存储
[V,D] = eig(M) % 计算M的特征值对角阵D和特征向量V，使得MV = VD成立
[V,D] = eig(M,'nobalance')   %当矩阵M中有与截断误差数量级相差不远的值时，该指令可能更精确。'nobalance'起误差调节作用

Python
numpy科学计算库提供相应的方法

import numpy as np

x = np.diag((1,2,3)) # 这是你想要求取特征值的数组
a,b = numpy.linalg.elg(x) # 特征值赋值给a,对应的特征向量赋值给b

详细解说SVD

SVD的英文全称： Singular Value Decomposition，中文名字：奇异值分解

几何意义

图来源
以二维空间为例


几何意义就是把一个单位正交的网格，转换为另外一个单位正交的网格
假如选取了一组单位正交基{${\vec{v}}_1,{\vec{v}}_2$},刚好矩阵M的线性变化($M{\vec{v}}_1$,$M{\vec{v}}_2$)也正交，用${\vec{u}}_1,{\vec{u}}_2$分别表示$M{\vec{v}}_1$,$M{\vec{v}}_2$的单位向量，用${\lambda }_1,{\lambda }_2$表示$M{\vec{v}}_1$,$M{\vec{v}}_2$的长度，描述网格在这些特定方向上的拉伸量，也被称作矩阵M的奇异值。
$M{\vec{v}}_1={\lambda }_1{\vec{u}}_1$
$M{\vec{v}}_2={\lambda }_2{\vec{u}}_2$
对任意给定的向量$\vec{x}$,则有
$$\mathbf{x}=\left({\mathbf{v}}_1\cdot \mathbf{x}\right){\mathbf{v}}_1+\left({\mathbf{v}}_2\cdot \mathbf{x}\right){\mathbf{v}}_2$$
再将M的线性变换
$$\begin{array}{rl}M\mathbf{x}& =\left({\mathbf{v}}_1\cdot \mathbf{x}\right)M{\mathbf{N}}_1+\left({\mathbf{v}}_2\cdot \mathbf{x}\right)M{\mathbf{v}}_2\\ M\mathbf{x}& =\left({\mathbf{v}}_1\cdot \mathbf{x}\right){\sigma }_1{\mathbf{u}}_1+\left({\mathbf{v}}_2\cdot \mathbf{x}\right){\sigma }_2{\mathbf{u}}_2\end{array}$$
$$\begin{array}{c}M\mathbf{x}={\mathbf{u}}_1{\sigma }_1{\mathbf{v}}_1^{\top }\mathbf{x}+{\mathbf{u}}_2{\sigma }_2{\mathbf{v}}_2^{\top }\mathbf{x}\\ M={\mathbf{u}}_1{\sigma }_1{\mathbf{v}}_1^{\top }+{\mathbf{u}}_2{\sigma }_2{\mathbf{v}}_2^{\top }\end{array}$$
so
$$M=U\Sigma V^T$$

奇异值分解的推导过程

$u=(u_1,u_2,...,u_m)$
$v=(v_1,v_2,...,v_n)$
$u,v$都是空间的基,是正交矩阵 $u^{T}u=E,v^{T}v=E$

任何一个矩阵$M_{m\ast n}$，$rank(M)=k$，一定存在ＳＶＤ,换句话说，M可以将一组单位正交基映射到另一组单位正交基。答案是肯定的
证明如下：
在n为空间中，有一组单位正交基{${\vec{v}}_1,{\vec{v}}_2,...,{\vec{v}}_n$},线性变化作用以后
$$M{\vec{v}}_1,M{\vec{v}}_2,...,M{\vec{v}}_n$$
也是正交的，则有
$$(M{\vec{v}}_i,M{\vec{v}}_j)=(M{\vec{x}}_i{)}^{T}M{\vec{v}}_j={\vec{v}}_i^T{M}^{T}M{\vec{v}}_j=0$$
注意喔，$M^{T}M$是矩阵喔，则会有$M^{T}M{\vec{v}}_j=\lambda {\vec{v}}_j$
接下去，
$$\begin{array}{rl}{v}_i^T{M}^T\mathrm{M}{v}_j=& v_i^T{\lambda }_j{v}_j\\ & ={\lambda }_j{v}_i^T{v}_j\\ & ={\lambda }_j{v}_i{\dot{v}}_j=0\end{array}$$
上述就证明了是有的：任何一个矩阵，都可以将一组单位正交基转换成另外一组正交基。
当$i=j$,$<M{\vec{v}}_i,M{\vec{v}}_i>={\lambda }_i{\vec{v}}_i{\vec{v}}_i={\lambda }_i$
进行一些单位化，记$u_i=\frac{A{\vec{v}}_i}{|M{\vec{v}}_i|}=\frac{1}{\sqrt{{\lambda }_i}}M{\vec{v}}_i$
则
$$A{v}_i={\sigma }_i{u}_i,{\sigma }_i(\mathrm{奇异值})=\sqrt{{\lambda }_i},0\le i\le \mathrm{k},\mathrm{k}=\mathrm{Rank}(\mathrm{A})$$
当$k<i<=m$时，对$u1，u2，...，uk$进行扩展$u(k+1),...,um$，使得$u1，u2，...，um$为$m$维空间中的一组正交基.也可对${\vec{v}}_1,{\vec{v}}_2,...,{\vec{v}}_k$进行扩展，扩展的${\vec{v}}_{k+1},...,{\vec{v}}_n$存在零子空间里面。
$$M\left[\begin{array}{lll}{\vec{v}}_1& \cdots & {\vec{v}}_k\end{array}\right|{\vec{v}}_{k+1}\cdots {\vec{v}}_m]=\left[\begin{array}{c}{\vec{u}}_1^T\\ ⋮\\ \frac{{\vec{u}}_k^T}{{\vec{u}}_{k+1}}\\ ⋮\\ {\vec{u}}_n^T\end{array}\right]\left[\begin{array}{cccc}{\sigma }_1& & 0& 0\\ & \ddots & {\sigma }_k& 0\\ 0& & 0& 0\end{array}\right]$$
$$M=\left[\begin{array}{lll}{\vec{u}}_1& \cdots & {\vec{u}}_k\end{array}\right]\left[\begin{array}{ccc}{\sigma }_1& & \\ & \ddots & \\ & & {\sigma }_k\end{array}\right]\left[\begin{array}{c}{\vec{v}}_1^T\\ ⋮\\ {\vec{v}}_k^T\end{array}\right]+\left[\begin{array}{ccc}{\vec{u}}_{k+1}& \cdots & {\vec{u}}_m\end{array}\right]\left[\begin{array}{c}0\end{array}\right]\left[\begin{array}{c}{\vec{v}}_{k+1}^T\\ ⋮\\ {\vec{v}}_n^T\end{array}\right]$$

SVD算例

U：$A{A}^T$的特征值和特征向量，用单位化的特征向量构成 $U$
V: $A^{T}A$ 的特征值和特征向量，用单位化的特征向量构成 $V$
${\sum }_{mn}$ : 将 $A{A}^T$或者 $A^{T}A$ 的特征值求平方根，然后构成 Σ
以矩阵 $A=\left[\begin{array}{cc}1& 1\\ 1& 1\\ 0& 0\end{array}\right]$
第一步 U ，下面是一种计算方法
对矩阵$$A{A}^T=\left[\begin{array}{lll}2& 2& 0\\ 2& 2& 0\\ 0& 0& 0\end{array}\right]$$特征分解，
特征是4，0，0
特征向量是
${\left[\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}},0\right]}^T,{\left[-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}},0\right]}^T,[0,0,1{]}^T$,可得到
$$U=\left[\begin{array}{ccc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}& 0\\ 0& 0& 1\end{array}\right]$$

第二步
计算矩阵$A^{T}A$的特征分解，可得
特征值4，0，
$$V=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]$$
第三步
计算${\sum }_{mn}$
$$\Sigma =\left[\begin{array}{ll}2& 0\\ 0& 0\\ 0& 0\end{array}\right]$$
最后，
$$A=U\Sigma V^T=\left[\begin{array}{ccc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ll}2& 0\\ 0& 0\\ 0& 0\end{array}\right]{\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]}^T=\left[\begin{array}{cc}1& 1\\ 1& 1\\ 0& 0\end{array}\right]$$

如何通过Matlab和Python

Matlab：

s = svd(A)
[U,S,V] = svd(A)
[U,S,V] = svd(A,'econ')
[U,S,V] = svd(A,0)
input: A 矩阵
output:
        s:奇异值，以列向量形式返回。奇异值是以降序顺序列出的非负实数
        S：
        U:左奇异向量，以矩阵的列形式返回。
        V:奇异值，以对角矩阵形式返回。S 的对角元素是以降序排列的非负奇异值。
        右奇异向量，以矩阵的列形式返回。

Python

import numpy as np
M = np.array([ [1,1,2],[0,0,1]])
U,S,V  = np.linalg.svd(M)

应用举例

应用

2.1 信息检索
2.2 推荐系统
2.3 基于协同过滤的推荐系统
2.4 图像压缩

特征值分解和奇异值分解的区别

1. 特征值分解只能是方阵，而奇异值分解是矩阵就可以
2. 特征值分解只考虑了对矩阵缩放效果，奇异值分解对矩阵有选择、收缩、投影的效果