机器学习基础：奇异值分解（SVD）

SVD 原理

奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，也是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。

有一个𝑚×𝑛的实数矩阵𝐴，我们想要把它分解成如下的形式：$A=U\Sigma V^T$

其中𝑈和𝑉均为单位正交阵，即有$U{U}^T=I$和$V{V}^T=I$，𝑈称为左奇异矩阵，𝑉称为右奇异矩阵，Σ仅在主对角线上有值，我们称它为奇异值，其它元素均为0。

上面矩阵的维度分别为$U\in R^{m\times m}$,$\Sigma \in R^{m\times n}$,$V\in R^{n\times n}$。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tpOQ6PSy-1650075054769)(https://files.mdnice.com/user/3611/3c237407-033b-4565-ab22-e0fb2e07a9da.svg)]

一般地Σ有如下形式
$$\Sigma ={\left[\begin{array}{ccccc}{\sigma }_1& 0& 0& 0& 0\\ 0& {\sigma }_2& 0& 0& 0\\ 0& 0& \ddots & 0& 0\\ 0& 0& 0& \ddots & 0\end{array}\right]}_{m\times n}$$

Font metrics not found for font: . 越大意味着对应的 $A\prime A$ 的特征值 ${\sigma }_j^2$ 越大, 从而其主成分 (principal component) $A{v}_j$ 的样本方差越大, 我们把方差大视为提供了更多信息.

求解U, Σ, V

假设我们的矩阵A是一个m×n的矩阵，则$A^{T}A$是方阵，求其特征值及特征向量：

$(A^{T}A)v_i={\lambda }_i{v}_i$

得到矩阵$A^{T}A$的n个特征值和对应的n个特征向量$v$

因
$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T$ =$V{\Sigma }^T\Sigma V^T=V{\Sigma }^2{V}^T$

将特征向量$v$张成一个$n\times n$的矩阵$V$，就是SVD公式里面的$V$矩阵,$V$中的每个特征向量叫做$A$的右奇异向量。

同理：$(A{A}^T)u_i={\lambda }_i{u}_i$，可得$U$矩阵。

求得$U，V$，然后求Σ，因Σ为奇异值矩阵，所以只需要求出每个奇异值$\sigma$即可。

$A=U\Sigma V^T \Rightarrow AV=U\Sigma V^TV \Rightarrow $

$AV=U\Sigma \Rightarrow A{v}_i={\sigma }_i{u}_i\Rightarrow {\sigma }_i=A{v}_i/u_i$

其实特征值矩阵等于奇异值矩阵的平方，也就是说特征值和奇异值满足如下关系：

${\sigma }_i=\sqrt{{\lambda }_i}$

所以不用${\sigma }_i=A{v}_i/u_i$也可以通过求出$A^{T}A$的特征值取平方根来求奇异值。

SVD算法

---

输入：样本数据
输出：左奇异矩阵，奇异值矩阵，右奇异矩阵

1 计算特征值： 特征值分解$A{A}^T$，其中$A\in {\mathbf{R}}^{m\times n}$为原始样本数据
$A{A}^T=U\Sigma {\Sigma }^T{U}^T$

得到左奇异矩阵$U\in {\mathbf{R}}^{m\times m}$和奇异值矩阵${\Sigma }^{\prime }\in {\mathbf{R}}^{m\times m}$

2 间接求部分右奇异矩阵： 求$V^{\prime }\in {\mathbf{R}}^{m\times n}$

利用A=UΣ′V′可得

$V^{\prime }=(U{\Sigma }^{\prime }{)}^{-1}A=({\Sigma }^{\prime }{)}^{-1}{U}^{T}A$

3 返回U, Σ′, V′，分别为左奇异矩阵，奇异值矩阵，右奇异矩阵。

---

Python 求解SVD

from numpy import array
from numpy import diag
from numpy import zeros
from scipy.linalg import svd
# define a matrix
A = array([
	[1,2,3,4,5,6,7,8,9,10],
	[11,12,13,14,15,16,17,18,19,20],
	[21,22,23,24,25,26,27,28,29,30]])
print(A)

>>> A
array([[ 1,  2,  3,  4,  5,  6,  7,  8,  9, 10],
       [11, 12, 13, 14, 15, 16, 17, 18, 19, 20],
       [21, 22, 23, 24, 25, 26, 27, 28, 29, 30]])

# Singular-value decomposition
U, s, VT = svd(A)
# create m x n Sigma matrix
Sigma = zeros((A.shape[0], A.shape[1]))
# populate Sigma with n x n diagonal matrix
Sigma[:A.shape[0], :A.shape[0]] = diag(s)
# select
n_elements = 2
Sigma = Sigma[:, :n_elements]
VT = VT[:n_elements, :]
# reconstruct
B = U.dot(Sigma.dot(VT))
print(B)

>>> B
array([[ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10.],
       [11., 12., 13., 14., 15., 16., 17., 18., 19., 20.],
       [21., 22., 23., 24., 25., 26., 27., 28., 29., 30.]])

# transform
T = U.dot(Sigma)
print(T)

>>> T
array([[-18.52157747,   6.47697214],
       [-49.81310011,   1.91182038],
       [-81.10462276,  -2.65333138]])

T = A.dot(VT.T)
print(T)

[[-18.52157747   6.47697214]
 [-49.81310011   1.91182038]
 [-81.10462276  -2.65333138]]

参考：
https://www.cnblogs.com/pinard/p/6251584.html
https://www.cnblogs.com/endlesscoding/p/10033527.html