7.2 伪逆和线性方程 $A\mathbf{x}=\mathbf{b}$

7.2 伪逆和线性方程 $A\mathbf{x}=\mathbf{b}$

矩阵 $4$ 个空间的正交基

1、根据 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ ，大于零的奇异值 ${\sigma }_i>0$ 对应的左奇异向量 ${\mathbf{u}}_1,\cdots ,{\mathbf{u}}_r$ 是矩阵 $A$ 列空间的正交基；

2、根据 $A^T{\mathbf{u}}_i={\sigma }_i{\mathbf{v}}_i$ ，等于零的奇异值 ${\sigma }_i=0$ 对应的左奇异向量 ${\mathbf{u}}_{r+1},\cdots ,{\mathbf{u}}_m$ 是矩阵 $A$ 左零空间的正交基；

3、根据 $A^T{\mathbf{u}}_i={\sigma }_i{\mathbf{v}}_i$ ，大于零的奇异值 ${\sigma }_i>0$ 对应的右奇异向量 ${\mathbf{v}}_1,\cdots ,{\mathbf{v}}_r$ 是矩阵 $A$ 行空间的正交基；

4、根据 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ ，等于零的奇异值 ${\sigma }_i=0$ 对应的右奇异向量 ${\mathbf{v}}_{r+1},\cdots ,{\mathbf{v}}_n$ 是矩阵 $A$ 零空间的正交基。

伪逆

根据 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ ，矩阵 $A$ 把解空间 $R^n$ 中的正交基 ${\mathbf{v}}_i$ 变换为列空间 $R^m$ 的向量 ${\sigma }_i{\mathbf{u}}_i$ ，如果存在矩阵 $B$ 能把列空间 $R^m$ 的向量 ${\sigma }_i{\mathbf{u}}_i$ 变换为 $R^n$ 空间中的正交基 ${\mathbf{v}}_i$ ，则矩阵 $B$ 就是矩阵 $A$ 的逆变换！即 $B{\sigma }_i{\mathbf{u}}_i={\mathbf{v}}_i$ 则 $B{\mathbf{u}}_i=1/{\sigma }_i{\mathbf{v}}_i={\sigma }_i^{\prime }{\mathbf{v}}_i$ ，所以有 $B={\sigma }_1^{\prime }{\mathbf{v}}_1{\mathbf{u}}_1^T+\cdots +{\sigma }_r^{\prime }{\mathbf{v}}_r{\mathbf{u}}_r^T=V{\Sigma }^{+}{U}^T$ ，注意矩阵 ${\Sigma }^{+}$ 尺寸为 $(n,m)$，并不是对角阵，但其前 $(r,r)$ 子矩阵 ${\Sigma }_r^{+}$ 是对角阵，对角元素为 $1/{\sigma }_i>0$ ，矩阵其它元素均为 $0$ 。矩阵 $B=V{\Sigma }^{+}{U}^T$ 称为矩阵 $A=U\Sigma V^T$ 的伪逆，记为 $A^{+}$ 或称为加号逆，或Moore-Penrose逆。

通解结构

方程 $A\mathbf{x}=\mathbf{b}$ 的特解可表示为 ${\mathbf{x}}_p=A^{+}\mathbf{b}$ ，零解为 ${\mathbf{v}}_{r+1},\cdots ,{\mathbf{v}}_n$ ，故通解为
$$\mathbf{x}={\mathbf{x}}_p+{\mathbf{x}}_z=A^{+}\mathbf{b}+(k_1{\mathbf{v}}_{r+1}+\cdots +k_{n-r}{\mathbf{v}}_n),k_i是任意实数$$

向量 $\mathbf{b}$ 进行正交分解得 $\mathbf{b}={\mathbf{u}}_1{\mathbf{u}}_1^T\mathbf{b}+\cdots +{\mathbf{u}}_m{\mathbf{u}}_m^T\mathbf{b}=b_1^U{\mathbf{u}}_1+\cdots +b_m^U{\mathbf{u}}_m=Udiag(b_1^U,\cdots ,b_m^U),其中b_i^U={\mathbf{u}}_i^T\mathbf{b}为在坐标系U下的坐标分量$ ，代入特解公式得
$$\begin{gathered} {\mathbf{x}}_p=A^{+}\mathbf{b} \\ =V{\Sigma }^{+}{U}^{T}Udiag(b_1^U,\cdots ,b_m^U) \\ =V{\Sigma }^{+}diag(b_1^U,\cdots ,b_m^U) \\ =b_1^U/{\sigma }_1{\mathbf{v}}_1+\cdots +b_r^U/{\sigma }_r{\mathbf{v}}_r \end{gathered}$$

故通解为
$$\mathbf{x}={\mathbf{x}}_p+{\mathbf{x}}_z=b_1^U/{\sigma }_1{\mathbf{v}}_1+\cdots +b_r^U/{\sigma }_r{\mathbf{v}}_r+(k_1{\mathbf{v}}_{r+1}+\cdots +k_{n-r}{\mathbf{v}}_n),b_i={\mathbf{u}}_i^T\mathbf{b}为坐标分量,k_i是任意实数$$

上述通解结构和矩阵 $A$ 为满秩矩阵时的解结构一致，下面论述。

1、当矩阵 $A$ 是方阵且可逆时即 $r=rankA=m=n$ ，根据 $A=U\Sigma V^T$ 知矩阵 $\Sigma$ 可逆，故对角元素均大于零，则 $A^{-1}=(U\Sigma V^T{)}^{-1}=V{\Sigma }^{-1}{U}^T$ ，矩阵 ${\Sigma }^{-1}$ 对角元素为 $1/{\sigma }_i$ ，等于矩阵 ${\Sigma }^{+}$ ，故 $A^{-1}=A^{+}$ 。

2、当矩阵 $A$ 是列满秩矩阵时即 $r=rankA=n<m$ ，左逆 $A_L^{-1}=(A^{T}A{)}^{-1}{A}^T=[(U\Sigma V^T{)}^{T}U\Sigma V^T{]}^{-1}(U\Sigma V^T{)}^T=(V\Sigma U^{T}U\Sigma V^T{)}^{-1}(V\Sigma U^T)=(V{\Sigma }^2{V}^T{)}^{-1}(V\Sigma U^T)=V{\Sigma }^{-2}{V}^{T}V\Sigma U^T=V{\Sigma }^{-2}\Sigma U^T=V{\Sigma }^{-1}{U}^T$ ，故 $A_L^{-1}=A^{+}$ ，又 $r=n$ 故不存在零解。

3、当矩阵 $A$ 是行满秩矩阵时即 $r=rankA=m<n$ ，右逆 $A_R^{-1}=A^T(A{A}^T{)}^{-1}=(U\Sigma V^T{)}^T[U\Sigma V^T(U\Sigma V^T{)}^T{]}^{-1}=(V\Sigma U^T)(U\Sigma V^{T}V\Sigma U^T{)}^{-1}=(V\Sigma U^T)(U{\Sigma }^2{U}^T{)}^{-1}=V\Sigma U^{T}U{\Sigma }^{-2}{U}^T=V\Sigma {\Sigma }^{-2}{U}^T=V{\Sigma }^{-1}{U}^T$ ，故 $A_R^{-1}=A^{+}$ ，又 $r=m<n$ 故存在零解。

当矩阵 $A$ 为秩亏矩阵时即 $r=rankA<(m,n)$ ，研究下特解 ${\mathbf{x}}_p=A^{+}\mathbf{b}$ 具有什么性质？

$$\begin{gathered} A{A}^{+}=(U\Sigma V^T)(V{\Sigma }^{+}{U}^T)=U\Sigma {\Sigma }^{+}{U}^T=U_r{U}_r^T={\mathbf{u}}_1{\mathbf{u}}_1^T+\cdots +{\mathbf{u}}_r{\mathbf{u}}_r^T \\ A{\mathbf{x}}_p=A(A^{+}\mathbf{b})=({\mathbf{u}}_1{\mathbf{u}}_1^T+\cdots +{\mathbf{u}}_r{\mathbf{u}}_r^T)\mathbf{b}={\mathbf{u}}_1{\mathbf{u}}_1^T\mathbf{b}+\cdots +{\mathbf{u}}_r{\mathbf{u}}_r^T\mathbf{b} \end{gathered}$$

故 $A{\mathbf{x}}_p$ 是向量 $\mathbf{b}$ 在空间 ${\mathbf{u}}_1,\cdots ,{\mathbf{u}}_r$ 的投影，空间 ${\mathbf{u}}_1,\cdots ,{\mathbf{u}}_r$ 就是矩阵 $A$ 列空间，所以 $A{\mathbf{x}}_p$ 就是向量 $\mathbf{b}$ 在矩阵 $A$ 列空间的投影即 $A{\mathbf{x}}_p={\mathbf{b}}_p$，矩阵 $P=A{A}^{+}$ 是投影矩阵，解 $A^{+}\mathbf{b}$ 是最小二乘解。

又因为向量 $\mathbf{b}$ 在列空间进行正交分解得
$$\mathbf{b}={\mathbf{u}}_1{\mathbf{u}}_1^T\mathbf{b}+\cdots +{\mathbf{u}}_m{\mathbf{u}}_m^T\mathbf{b}$$

所以残差向量为 $\mathbf{b}-{\mathbf{b}}_p={\mathbf{u}}_{r+1}{\mathbf{u}}_{r+1}^T\mathbf{b}+\cdots +{\mathbf{u}}_m{\mathbf{u}}_m^T\mathbf{b}$ ，其范数为 $\Vert \mathbf{b}-{\mathbf{b}}_p\Vert =\sqrt{({\mathbf{u}}_{r+1}^T\mathbf{b}{)}^2+\cdots +({\mathbf{u}}_m^T\mathbf{b}{)}^2}$ 。

又因为

$$\begin{gathered} {\mathbf{x}}_p=A^{+}\mathbf{b}=({\sigma }_1^{\prime }{\mathbf{v}}_1{\mathbf{u}}_1^T+\cdots +{\sigma }_r^{\prime }{\mathbf{v}}_r{\mathbf{u}}_r^T)\mathbf{b}={\sigma }_1^{\prime }{\mathbf{v}}_1{\mathbf{u}}_1^T\mathbf{b}+\cdots +{\sigma }_r^{\prime }{\mathbf{v}}_r{\mathbf{u}}_r^T\mathbf{b}=k_1{\mathbf{v}}_1+\cdots +k_r{\mathbf{v}}_r \\ {k}_i={\sigma }_i^{\prime }{\mathbf{u}}_i^T\mathbf{b}={\mathbf{u}}_i^T\mathbf{b}/{\sigma }_i \end{gathered}$$
即特解 ${\mathbf{x}}_p$ 位于空间 ${\mathbf{v}}_1,\cdots ,{\mathbf{v}}_r$ ，垂直于矩阵 $A$ 的零空间 ${\mathbf{v}}_{r+1},\cdots ,{\mathbf{v}}_n$ ，所以特解 ${\mathbf{x}}_p$ 是最小范数解。

故特解 $A^{+}\mathbf{b}$ 是最小范数最小二乘解，具有极好的性质。

因为
$$\begin{gathered} A^{+}A=(V{\Sigma }^{+}{U}^T)(U\Sigma V^T)=V\Sigma {\Sigma }^{+}{V}^T=V_r{V}_r^T={\mathbf{v}}_1{\mathbf{v}}_1^T+\cdots +{\mathbf{v}}_r{\mathbf{v}}_r^T \\ E-A^{+}A=V_n{V}_n^T-V_r{V}_r^T={\mathbf{v}}_{r+1}{\mathbf{v}}_{r+1}^T+\cdots +{\mathbf{v}}_n{\mathbf{v}}_n^T \end{gathered}$$
$$\begin{gathered} A{A}^{+}=U_r{U}_r^T={\mathbf{u}}_1{\mathbf{u}}_1^T+\cdots +{\mathbf{u}}_r{\mathbf{u}}_r^T \\ E-A{A}^{+}=U_m{U}_m^T-U_r{U}_r^T={\mathbf{u}}_{r+1}{\mathbf{u}}_{r+1}^T+\cdots +{\mathbf{u}}_m{\mathbf{u}}_m^T \end{gathered}$$

矩阵 $P=A^{+}A$ 是向矩阵 $A$ 的行空间投影，矩阵 $P=A{A}^{+}$ 是向矩阵 $A$ 的列空间投影。$E-A^{+}A$ 是零空间映射矩阵，$E-A{A}^{+}$ 是列空间残差映射矩阵。

故方程零解也可表示为
$$\begin{gathered} {\mathbf{x}}_z=(E-A^{+}A)\mathbf{a} \\ \mathbf{a}是任意向量 \end{gathered}$$
方程 $A\mathbf{x}=\mathbf{b}$ 通解也可表示为
$$\begin{gathered} \mathbf{x}={\mathbf{x}}_p+{\mathbf{x}}_z=A^{+}\mathbf{b}+(E-A^{+}A)\mathbf{a} \\ \mathbf{a}是任意向量 \end{gathered}$$
或
$$\mathbf{x}={\mathbf{x}}_p+{\mathbf{x}}_z=A^{+}\mathbf{b}+(k_1{\mathbf{v}}_{r+1}+\cdots +k_{n-r}{\mathbf{v}}_n),k_i是任意实数$$

特解的数值稳定性和正则化

$${\mathbf{x}}_p=A^{+}\mathbf{b}=V{\Sigma }^{+}{U}^T\mathbf{b}=(1/{\sigma }_1{\mathbf{v}}_1{\mathbf{u}}_1^T+\cdots +1/{\sigma }_r{\mathbf{v}}_r{\mathbf{u}}_r^T)\mathbf{b}$$

可见当奇异值 ${\sigma }_i$ 趋近 $0$ 时，$1/{\sigma }_i$ 趋近无穷大，导致特解数值变得无穷大，数值不稳定。${\sigma }_i$ 趋近 $0$ 对应的分量 ${\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T$ 占矩阵 $A$ 的比例很小，主要由误差造成的，理论上应该等于 $0$，所以希望 $1/{\sigma }_i$ 趋近 $0$，这可以采用第五章介绍的阻尼倒数法处理，此时 ${\mathbf{v}}_i$ 应该作为一个零解。

第五章解释了正则化解为 ${\hat{\mathbf{x}}}_{\lambda }=(A^{T}A+\lambda E{)}^{-1}{A}^T\mathbf{b}$ ，采用矩阵 $A=U\Sigma V^T$ 代入上式，可以看到本质，注意矩阵 $A$ 是列满秩矩阵。

$$\begin{gathered} {\hat{\mathbf{x}}}_{\lambda }=(V{\Sigma }^2{V}^T+\lambda VE{V}^T{)}^{-1}V\Sigma U^T\mathbf{b} \\ =(V({\Sigma }^2+\lambda E)V^T{)}^{-1}V\Sigma U^T\mathbf{b} \\ =V({\Sigma }^2+\lambda E{)}^{-1}{V}^{T}V\Sigma U^T\mathbf{b} \\ =V({\Sigma }^2+\lambda E{)}^{-1}\Sigma U^T\mathbf{b} \\ =(\frac{{\sigma }_1}{{\sigma }_1^2+\lambda }{\mathbf{v}}_1{\mathbf{u}}_1^T+\cdots +\frac{{\sigma }_n}{{\sigma }_n^2+\lambda }{\mathbf{v}}_n{\mathbf{u}}_n^T)\mathbf{b} \end{gathered}$$

与无正则化解 ${\hat{\mathbf{x}}}_0=1/{\sigma }_1{\mathbf{v}}_1{\mathbf{u}}_1^T+\cdots +1/{\sigma }_n{\mathbf{v}}_n{\mathbf{u}}_n^T$ 对比，发现正则化就是 $\frac{1}{{\sigma }_i}$ 变换为 $\frac{{\sigma }_i}{{\sigma }_i^2+\lambda }$ ，就是阻尼倒数法！且对所有的奇异值采用相同的参数 $\lambda$ 。

但必须指出，奇异值 ${\sigma }_r$ 趋近 $0$ 时不一定会导致解的数值不稳定，
根据通解为
$$\mathbf{x}={\mathbf{x}}_p+{\mathbf{x}}_z=b_1^U/{\sigma }_1{\mathbf{v}}_1+\cdots +b_r^U/{\sigma }_r{\mathbf{v}}_r+(k_1{\mathbf{v}}_{r+1}+\cdots +k_{n-r}{\mathbf{v}}_n),b_i^U={\mathbf{u}}_i^T\mathbf{b}为在坐标系U下的坐标分量,k_i是任意实数$$
如果此时有 $b_r^U=0$ ，则解还是稳定的。即向量 $\mathbf{b}$ 在很小奇异值 ${\sigma }_u$ 对应的奇异向量 ${\mathbf{u}}_i$ 的坐标分量也很小时，此时 $b_i^U/{\sigma }_i$ 是个有限值，则解稳定。

伪逆性质

先把前面重要性质罗列如下：
矩阵奇异值分解 $A=U\Sigma V^T={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T,r=rankA,U,V是正交矩阵，\Sigma 是伪对角阵，{\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$ 。
$$\begin{gathered} A^{+}=V{\Sigma }^{+}{U}^T=1/{\sigma }_1{\mathbf{v}}_1{\mathbf{u}}_1^T+\cdots +1/{\sigma }_r{\mathbf{v}}_r{\mathbf{u}}_r^T \\ {A}^T=V\Sigma U^T={\sigma }_1{\mathbf{v}}_1{\mathbf{u}}_1^T+\cdots +{\sigma }_r{\mathbf{v}}_r{\mathbf{u}}_r^T \\ {A}^{+}A=V_r{V}_r^T={\mathbf{v}}_1{\mathbf{v}}_1^T+\cdots +{\mathbf{v}}_r{\mathbf{v}}_r^T \\ A{A}^{+}=U_r{U}_r^T={\mathbf{u}}_1{\mathbf{u}}_1^T+\cdots +{\mathbf{u}}_r{\mathbf{u}}_r^T \\ {A}^{T}A=V{\Sigma }^2{V}^T={\sigma }_1^2{\mathbf{v}}_1{\mathbf{v}}_1^T+\cdots +{\sigma }_r^2{\mathbf{v}}_r{\mathbf{v}}_r^T \\ A{A}^T=U{\Sigma }^2{U}^T={\sigma }_1^2{\mathbf{u}}_1{\mathbf{u}}_1^T+\cdots +{\sigma }_r^2{\mathbf{u}}_r{\mathbf{u}}_r^T \end{gathered}$$

当 $r=m=n$ 即矩阵 $A$ 可逆时，$A^{+}=A^{-}$ 。
当 $r=n<m$ 即矩阵 $A$ 列满秩时，$A^{+}=(A^{T}A{)}^{-1}{A}^T$ 。
当 $r=m<n$ 即矩阵 $A$ 行满秩时，$A^{+}=A^T(A{A}^T{)}^{-1}$ 。
矩阵 $D=diag(d_1,\cdots ,d_n)$ 是对角阵时，则 $D^{+}=diag(d_1^{+},\cdots ,d_n^{+})$ 其中 $d_i^{+}=1/d_{i}for{d}_i\ne 0else0$

伪逆还具有如下性质：
$$\begin{gathered} A{A}^{+}A=A \\ {A}^{+}A{A}^{+}=A^{+} \\ (A^{+}A{)}^T=A^{+}A \\ (A{A}^{+}{)}^T=A{A}^{+} \end{gathered}$$
通过这四个性质可以定义伪逆，或者说伪逆 $A^{+}$ 由这四个性质唯一定义，这四个性质称为 Moore-Penrose方程。

$$\begin{gathered} (A^{+}{)}^{+}=A \\ (A^T{)}^{+}=(A^{+}{)}^T=A^{+T} \\ (A^{T}A{)}^{+}=A^{+}(A^T{)}^{+} \\ rankA=rank{A}^{+}=rank{A}^{+}A=rankA{A}^{+} \\ {A}^{+}=(A^{T}A{)}^{+}{A}^T=A^T(A{A}^T{)}^{+} \end{gathered}$$

这些性质通过简单的计算即可验证，可见伪逆 $A^{+}$ 和逆矩阵 $A^{-1}$ 性质很近似，但特别注意不成立 $(AB{)}^{+}\ne B^{+}{A}^{+}$ 。

**对任意矩阵，伪逆存在且唯一。**这个性质十分好，这保证任意线性方程都存在最小范数最小二乘解。对比下，只有矩阵的列向量组是基时，逆才存在且唯一；只有矩阵的列向量组是无关组时，左逆才存在但不唯一；只有矩阵的行向量组是无关组时，右逆才存在但不唯一。伪逆存在性由对称矩阵谱分解定理保证，唯一性由Moore-Penrose方程保证，具体证明方法从略。

根据 $A{A}^{+}A=A$ 得 $A{A}^{+}{\mathbf{a}}_i={\mathbf{a}}_i$ ，又因为 $A{A}^{+}=U_r{U}_r^T$ 得 $U_r{U}_r^T{\mathbf{a}}_i={\mathbf{a}}_i$ 即矩阵 $A$ 列向量都位于子空间 $U_r$ 。