机器学习实战——利用 SVD 简化数据
1 SVD 的介绍
假设 A 是一个 n × n n\times n n×n 的方阵,则其具有如下形式:
A ν = λ ν A\nu=\lambda\nu Aν=λν
其中 λ \lambda λ 是矩阵 A 的一个特征值, ν \nu ν 是矩阵 A 的一个 n n n 维特征向量。若把矩阵 A 的 n n n 个特征值及其对应的特征向量均求出,且按照特征值的大小由大到小排列,则其可以分解成如下形式:
A = W Σ W − 1 A=W\Sigma W^{-1} A=WΣW−1
其中 W W W 是 n n n 个单位特征向量构成的矩阵,则 W W T = I ⇒ W T = W − 1 WW^{T}=I\Rightarrow W^{T}=W^{-1} WWT=I⇒WT=W−1,因此上式可以转换成如下形式:
A = W Σ W − 1 ⇒ A = W Σ W T A=W\Sigma W^{-1}\Rightarrow A=W\Sigma W^{T} A=WΣW−1⇒A=WΣWT
只有当矩阵 A 是方阵时才能对其进行特征值分解。若矩阵 A 是一个 m × n m\times n m