MIT线性代数笔记-第三十三讲

4个子空间

左逆

通常，我们说的逆为两边可逆，即
$AA^{-1} = I = A^{-1}A$
这种情况下,r = m = n(矩阵A也叫作满秩矩阵)

上面是完美的情况，来看看不完美的情况
列满秩,r = n,列向量独立,零空间为零向量。并且$Ax = b$有零或者一个解(由于,r = n,而m > n,因此对b有限制).我们来看一个式子:
$(A^TA)^{-1}A^TA = I$,说明A有$A_{left}^{-1}$,即左逆,$A_{left}为n*m,A为m*n$

需要注意的一点是:这个式子中的$A^TA$为最小二乘法中的关键

右逆

与左逆对应的是右逆

行满秩。转置零空间为零向量。$Ax = b$有无穷解(对b无限制且自由向量有n - m个).可以得到A的右逆公式为：
$AA^T(AA^T)^{-1} = I$

伪逆

我们先看看左逆和右逆的两个公式
左逆:$(A^TA)^{-1}A^TA = I$,我们将式子变换一下
$A(A^TA)^{-1}A^T$,回忆一下，这个为投影到列空间的投影矩阵

右逆:$AA^T(AA^T)^{-1} = I$
$A^T(AA^T)^{-1}A$,这个为投影到行空间的投影矩阵

再看看这张图

假设x在行空间中，那么$Ax$在列空间，它们的关系是一一对应的
之前我们的视角是从行空间到列空间，那么列空间到行空间呢？这就是伪逆，表示如下:
$y = A^{+}(Ay)$

如何证明x和Ax为一一对应的?

假设不对应，找出矛盾

伪逆有什么用？
左逆和右逆存在局限性，分别需要列满秩(如果不符合，那么$A^TA为奇异矩阵，不可求逆$)或者行满秩。而伪逆没有限制

那么问题来了，如何求$A^+$?
通过奇异值分解

公式为$A^+ = V\sum^{+}U^T(需要注意的是V^T = V^{-1}, \sum^+的纬度为n * m,而不是m * n)$