什么是奇异值分解?
奇异值分解是指将一个非零的 m * n 实矩阵A, 表示为以下三个实矩阵乘积形式的运算,即进行矩阵的因子分解。
A = U Σ V T A = U\Sigma V^T A=UΣVT
U U U 是 m 阶正交矩阵,V 是 n 阶正交矩阵, Σ = d i a g ( σ 1 , σ 2 , . . . , σ p ) \Sigma = diag(\sigma_1,\sigma_2,..., \sigma_p) Σ=diag(σ1,σ2,...,σp) 是由降序排列的非负的对角线元素组成的 m * n 矩阵对角矩阵。 σ \sigma σ 称为矩阵的奇异值, U U U 的列向量称为左奇异向量, V V V 的列向量称为右奇异向量。
从几何角度上理解,基于 A = U Σ V T A = U\Sigma V^T A=UΣVT 的线性变换,等价于经过坐标系的旋转或反射变换 V T V^T VT ,坐标轴的缩放变换 Σ \Sigma Σ ,以及坐标系的旋转或反射变换 U, 得到向量 A x ∈ R m Ax \in R^m Ax∈Rm.
奇异值分解的特性
- 给定一个任意的实矩阵,奇异值分解一定存在。
- 矩阵奇异值分解是不唯一的。
紧奇异值分解和截断奇异值分解
紧奇异值分解:
设有 m * n 实矩阵 A ,其秩为 rank(A) = r, r <= min(m, n),则称 U r Σ r V r T U_r \Sigma_r V_r^T U