本文主要内容
本文整理总结自文献:
Rank-Deficient and Discrete ill-Posed Problems
矩阵的奇异值分解(SVD)
令 A ∈ R m × n A\in \mathbb{R}^{m\times n} A∈Rm×n是一个长方形或者是正方形的矩阵,简单起见假设 m ≥ n m\ge n m≥n. 则 A A A的SVD分解具有以下形式:
A = U Σ V T = ∑ i = 1 n u i σ i v i T (1) A=U\Sigma V^T=\sum_{i=1}^{n}u_i \sigma_i v_i ^T \tag{1} A=UΣVT=i=1∑nuiσiviT(1)
其中 U = ( u 1 , ⋯ , u n ) ∈ R m × n U=(u_1,\cdots,u_n)\in \mathbb{R}^{m\times n} U=(u1,⋯,un)∈Rm×n, V = ( v 1 , ⋯ , v n ) ∈ R n × n V=(v_1,\cdots,v_n)\in \mathbb{R}^{n\times n} V=(v1,⋯,vn)∈Rn×n都是具有正交列向量的矩阵,即满足: U T U = V T V = I n U^TU=V^TV=I_n UTU=VTV=In.
对角矩阵 Σ = d i a d ( σ 1 , ⋯ , σ n ) \Sigma=diad(\sigma_1,\cdots,\sigma_n) Σ=diad(σ1,⋯,σn) 拥有非负的对角元按照非增的顺序排列: σ 1 ≥ σ 2 ≥ ⋯ ≥ σ n ≥ 0. \sigma_1\ge \sigma_2 \ge \cdots\ge \sigma_n\ge 0. σ1≥σ2≥⋯≥σn≥0.
数 σ i \sigma_i σi称为 A A A的奇异值,而向量 u i u_i ui 和 v i v_i vi 是 A A A 的左右奇异向量。
离散不适定问题(Discrete ill-posed problems)
产生于不适定问题(例如第一类Fredholm积分方程)的离散:
A x = b (2) Ax=b \tag{2} Ax=b(2)或者
min x ∈ R n ∥ A x − b ∥ (3) \min_{x \in \mathbb{R}^n}\|Ax-b\| \tag{3} x∈Rnmin∥Ax−b∥(3)
利用矩阵 A A A的SVD分解,对于任意向量 x x x, 我们有:
x = ∑ i = 1 n ( v i T x ) v i a n d A x = ∑ i = 1 n σ i ( v i T x ) u i x=\sum_{i=1}^{n}(v_i^Tx)v_i \qquad and \qquad Ax=\sum_{i=1}^{n}\sigma_i(v_i^Tx)u_i x=i=1∑n(viTx)viandAx=i=1∑nσi(viTx)ui
现在考虑最小二乘问题 ( 3 ) (3) (3),
如果 A A A是可逆的,则它的逆可以表示为 A − 1 = ∑ i = 1 n v i σ 1 − 1 u i T A^{-1}=\sum_{i=1}^{n}v_i\sigma_1^{-1}u_i^T A−1=∑i=1nviσ1−1uiT , 因此问题 ( 2 ) (2) (2)和问题 ( 3 ) (3) (3)的解可以表示为 x = ∑ i = 1 n σ i − 1 ( u i T b ) v i x=\sum_{i=1}^{n}\sigma_i^{-1}(u_i^Tb)v_i x=∑i=1nσi−1(uiTb)vi,
如果 A A A是秩亏的,则问题