左右逆和伪逆

通常我们所说的逆都是放在矩阵左右两边都能成立的逆，即 ，左逆等于右逆，如果A是m*n大小的矩阵，其秩为r，则存在上述的逆需满足条件m=n=r，也就是A为方阵并且满秩（full rank）。如果A不是满秩，而只是列满秩（fullcolumn rank），则A只存在左逆（left-inverse），列满秩说明r=n<m，也就是说列向量是无关的，而行向量不是，根据求解Ax=0：主变量、自由变量、特殊解，则A的零空间里只有零向量，并且Ax=b存在0个或1个解，A的左逆就是 ，因为如果将此左逆乘以A，可得到 ，注意A是m*n的长方矩阵（rectangular matrix，即非方阵），则A^TA是个n*n对称矩阵，而且一定是满秩的，所以A^TA是可逆的，所以上面相乘可得到单位阵。但如果把左逆放到A右边去乘就得不到单位阵了，放到右边乘后有 ，根据子空间投影，这是投影矩阵P，并且是向A的列空间上的投影，总之一个长方形矩阵不可能有一个放两边都成立的逆。再来讨论右逆（right-inverse），行满秩的情况下矩阵A存在右逆，行满秩表示r= m < n，m个行向量是线性无关的，而列向量不是，A^T的零空间只包含零向量，因为没有行向量的组合等于零向量，并且Ax=b存在无数解，而A的零空间有n-m个自由变量，因此其零空间是n-m维的，A的右逆为 ，因为 ，同样AA^T是m*m的对称矩阵，而且一定是满秩的，所以AA^T是可逆的，所以上面相乘才可得到单位阵。将右逆放到左边乘，则有 ，也得到一个投影矩阵，只不过是向A的行空间投影。注意，左逆和右逆并不只有上面公式给出的两种，有可能有其他左逆或右逆，只不过公式给出的这两个是最简单，最好的。总结一下4种情况：

第1种：，满秩，存在两边逆，没有零空间和左零空间

第2种：列满秩，只存在左逆，没有零空间，有左零空间

第3种：行满秩，只存在右逆，没有左零空间，有零空间

第4种：最一般的情况，即r比m和n都小，存在伪逆（pseudo-inverse），有零空间和左零空间。

伪逆的意义

对于第4种最一般的情况，因为r<n，因此A存在零空间，因为r<m，因此A^T也存在零空间，也就是A有左零空间，就是这些零空间把逆给毁了，因为如果一个矩阵乘以一个向量等于零向量，那逆是无论如何也求不出来的。设x是行空间中的一个向量，如果用A乘x，则Ax一定在列空间中，因为Ax是A的列向量的一个组合，如果取行空间中的所有向量都和A相乘，则可得到列空间中的所有向量，也就是说行空间中的一个向量x和列空间中的一个向量Ax是一一对应的，而且矩阵A存在零空间，零空间中的这些非零向量使得A的列向量组合变成零向量，因此列空间中的所有向量都能由行空间的分量以及零空间的分量与A相乘构成，如果只看行空间中的向量，不考虑零空间的部分，则由行空间到列空间的变换Ax将零空间中的分量消除了。A的映射方向是从行空间到列空间，很显然列空间任意向量到行空间某向量则是A的伪逆，常用记号A⁺表示，因此x= A⁺(Ax)，伪逆消除了左零空间。

伪逆如何求

如何才能求出伪逆呢？可以从SVD着手，由奇异值分解可知，A的奇异值分解形式为 ，U和V都是正交阵，其逆矩阵很容易求，逆矩阵分别是它们的转置U^T和V^T，但中间的对角阵大小为m*n，秩为r，其形式为 ，所有问题出在对角阵上，对角阵没有真正的逆，该矩阵存在零空间，是不可逆的，但好在可逆阵 是最容易求逆的一类矩阵，因此只要对 中能求逆的地方求逆便可得到伪逆， 的伪逆为 ，大小为n*m，而 ，大小为m*m，并且这是向列空间上投影的投影矩阵，如果交换相乘顺序，则 ，大小为n*n，此为向行空间上的投影矩阵，最终矩阵A的伪逆为 ，这就是求伪逆的方法，借助SVD求伪逆的的好处就在所有问题都归到对角阵上。