本文详细探讨了实矩阵的奇异值分解（SVD），通过证明ATA为半正定矩阵，阐述了SVD的数学原理。SVD将矩阵分解为UΣVT，其中U和V由标准正交基组成，Σ是对角矩阵。SVD的意义在于对任意矩阵进行特征值分解，实现数据的有损压缩，并在PCA等场景中加速特征值计算。
命题
只讨论实矩阵.
任意矩阵 A m , n A_{m,n} Am,n 可以分解为:
A m , n = U Σ V T A_{m,n} = U\Sigma V^T Am,n=UΣVT
其中 U m , m U_{m,m} Um,m 和 V n , n V_{n, n} Vn,n 为由 R m \R^m Rm 和 R n \R^n Rn 下的标准正交基组成, Σ \Sigma Σ 为对角矩阵
证明
A T A A^TA ATA 为半正定矩阵 (证明见上篇博客), 所以特征值都为非负数, 记其特征值为 σ ( A T A ) = { σ 1 2 . . . σ n 2 } \sigma (A^TA) = \{\sigma_1^2...\sigma_n^2\} σ(ATA)={ σ12...σn2}, 并按照从大到小顺序排列
记 A T A A^T A ATA 的秩为 r r r, 则 σ 1 ≥ . . . ≥ σ r ≥ 0 = σ r + 1 = . . . = σ n \sigma_1 \ge ... \ge \sigma_r \ge 0 = \sigma_{r+1} = ... = \sigma_n σ1≥...≥σr≥0=σr
最低0.47元/天 解锁文章
扫一扫
783
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
