[笔记][总结] MIT线性代数 Gilbert Strang 广义逆

作者水平有限，欢迎大家提出文中错误

四个基本子空间的图像

矩阵$A_{m\ast n}$，描述了线性变换$T(\ast ):{\Re }^n\to {\Re }^m$（只考虑矩阵右乘）

$T$有一个特性：$\forall v\in C(A),T(v)=w,thenw\in C(A^T)$，并且在$C(A)$与$C(A^T)$上，$T$是一个双射，也就是说$\exists T^{-1}:{\Re }^m\to {\Re }^n,T^{-1}(w)=v$

证明：
假设已有$Av=w$且$w\ne 0$（因为$v\notin N(A)$），若又有$Ax=w$，则$A(v-x)=0$，所以说$v=w$，单射证毕。
$\forall w\in C(A^T),\exists v\in C(A),Ax=w$，满射证毕。
至此，已经对这四个基本子空间有个如下了解

1. $dimC(A)=dimC(A^T)=r$
2. $dimN(A)=n-r,dimN(A^T)=m-r$
3. $C(A)$中的向量和$C(A^T)$中的向量存在唯一对应的关系。
4. $N(A)\subseteq {\mathbb{R}}^n,C(A^T)\subseteq {\mathbb{R}}^n$，$N(A^T)\subseteq {\mathbb{R}}^m,C(A)\subseteq {\mathbb{R}}^m$

一个列满秩的矩阵$A_{3\ast 2}$（$rankA=2$）

秩为1的矩阵$A_{3\ast 2}$

广义逆的含义

上一节得出了一个重要结论，矩阵$A$描述了一个线性变换$T$，如果将像空间限制在$C(A)$，原像空间限制在$C(A^T)$，那么$T$是双射。双射意味着像空间和原像空间的所有元素间都存在这逐一对应关系，所以对于矩阵$A$，我们总能找到矩阵$A^{+}$，其描述的线性变换可以使像空间$C(A)$的元素映射回原像空间$C(A^T)$。

从可逆矩阵的逆说起

只有可逆矩阵的逆才满足
$$A{A}^{-1}=A^{-1}A=I$$
此时$r=m=n,fullrank$

左逆

$r=n<m,fullcolumnrank$，此时零空间 N ( A ) = { 0 } N(A)=\{0\} N(A)={0}
在最小二乘法中知道，$A^{T}A$满秩，所以存在
$$(A^{T}A{)}^{-1}{A}^{T}A=I$$
其中$(A^{T}A{)}^{-1}{A}^T$，被称为列满秩矩阵$A$的左逆
$$A_{leftn\ast m}^{-1}{A}_{m\ast n}=I_{n\ast n}$$
如果把列满秩的矩阵$A$的左逆放在$A$的右边
$$A_{m\ast n}{A}_{leftn\ast m}^{-1}=A(A^{T}A{)}^{-1}{A}^T$$
为列空间投影矩阵

右逆

$r=m<n,fullrowrank$，此时左零空间 N ( A T ) = { 0 } N(A^T)=\{0\} N(AT)={0}
此时$A{A}^T$是可逆的
$$A{A}^T(A{A}^T{)}^{-1}=I$$
其中$A^T(A{A}^T{)}^{-1}$，被称为行满秩矩阵$A$的右逆
$$A_{m\ast n}{A}_{rightn\ast m}^{-1}=I_{m\ast m}$$
如果把行满秩的矩阵$A$的右逆放在$A$的左边
$$A_{rightn\ast m}^{-1}{A}_{m\ast n}=A^T(A{A}^T{)}^{-1}A$$
为行空间投影矩阵

伪逆

如果不保证行满秩也不保证列满秩$r<m,r<n$，那么$A{A}^T$和$A^{T}A$都有可能是奇异的，那么这时候，左逆和右逆就都不存在。
伪逆是存在的，正如文章一开头所说，如果将像空间和原像空间限制在列空间和行空间，那么任意矩阵$A$所代表的线性变换，都是可逆的

奇异值分解的进一步探讨

$$A=U\left[\begin{array}{cc}\Sigma & O\\ O& O\end{array}\right]V^T$$
先来看
$$\left[\begin{array}{cc}\Sigma & O\\ O& O\end{array}\right]$$
如果它是方阵，其伪逆是将非零对角元全取倒数得到的对角阵
$$\left[\begin{array}{ccccccc}{\sigma }_1& & & & & & \\ & {\sigma }_2& & & & & \\ & & \ddots & & & & \\ & & & {\sigma }_r& & & \\ & & & & 0& & \\ & & & & & \ddots & \\ & & & & & & 0\end{array}\right]\left[\begin{array}{ccccccc}1/{\sigma }_1& & & & & & \\ & 1/{\sigma }_2& & & & & \\ & & \ddots & & & & \\ & & & 1/{\sigma }_r& & & \\ & & & & 0& & \\ & & & & & \ddots & \\ & & & & & & 0\end{array}\right]=$$
$$\left[\begin{array}{ccccccc}1& & & & & & \\ & 1& & & & & \\ & & \ddots & & & & \\ & & & 1& & & \\ & & & & 0& & \\ & & & & & \ddots & \\ & & & & & & 0\end{array}\right]$$
对于一般情况
$${\left[\begin{array}{cc}{I}_{r\ast r}& O\\ O& O\end{array}\right]}_{n\ast n}={\left[\begin{array}{cc}{\Sigma }^{-1}& O\\ O& O\end{array}\right]}_{n\ast m}{\left[\begin{array}{cc}\Sigma & O\\ O& O\end{array}\right]}_{m\ast n}$$
$${\left[\begin{array}{cc}{I}_{r\ast r}& O\\ O& O\end{array}\right]}_{m\ast m}={\left[\begin{array}{cc}\Sigma & O\\ O& O\end{array}\right]}_{m\ast n}{\left[\begin{array}{cc}{\Sigma }^{-1}& O\\ O& O\end{array}\right]}_{n\ast m}$$
可见伪逆的左乘和右乘，得到的“单位矩阵”并不相同，左乘，得到的是向行空间的投影；右乘，得到的是向列空间的投影。

对于矩阵$A$，记其伪逆为$A^{+}$
$$A^{+}=V_{n\ast n}{\left[\begin{array}{cc}{\Sigma }^{-1}& O\\ O& O\end{array}\right]}_{n\ast m}{U}_{m\ast m}$$

从线性变换的角度来看，伪逆代表了什么

已经知道$A^{+}A$是行空间的单位投影矩阵，$A{A}^{+}$是列空间的单位投影矩阵
现在有一个向量$v\in C(A^T)$，经过$A$的线性变换后，只保留了$r$维的信息，其余的$n-r$维信息丢失了，被压缩成了零向量。
当$A^{+}$想要尽力找到$Av$的原像时，能做到的最多是把没有丢失的$r$维信息进行恢复，被压缩成零向量的$n-r$个维度已经无力回天。
$A{A}^{+}$也是同理，$A$只能尽力恢复左乘$A^{+}$时还保留着的信息。