线性代数系列（八）--基变换、左逆、右逆和伪逆

正文

这里关于基变换和伪逆做的都是简单的介绍，关于他们的更深入的理论介绍和更深入的应用介绍还需参考其他资料，然后补充。

基变换

基变换是图像压缩、信号压缩等应用的理论基础，通俗来讲就是对于给定的数据矩阵，我们选择一个较好的基来进行计算，目前还不错的基有傅里叶基和小波基。其中小波基有一些良好的特性，小波基中的列向量都是正交的。似乎在线性代数中，关于矩阵，我们都希望他们的基是正交的，这样会大大的方便我们的计算。 所谓较好的基就是指基的性质比较好，通常有以下两点：

• 计算快
• 少量的基向量就足够重现图像

基变换的公式：$$P=wc????$$ 基变换就是要从一组旧的基变换到一组新的基。如从旧基$X$到新基$C$的变换：$$X=wC$$ w是变换矩阵。

与基变换相类似的还有矩阵的变换，它更多的是来自于线性变换。例如：从$A=[v_1,v_2,...v_n]$变换到$B=[w_1,w_2,...w_n]$，那么$A$和$B$必然有一些联系，即$A$相似于$B$，用公式表示为：$B=M^{-1}AM$，其中$M$就是基变换矩阵。

伪逆

之前我们介绍的逆就是一般情况下的逆，这种一般的情况在实际中往往很难满足，也就是实际中我们会遇到大量的矩阵，无法求逆，这个时候就需要使用一种称为伪逆的逆去近似使用。

左逆。 我们先看列满秩矩阵$A_{m\times n}$，$n<m$。秩$r=n$，所以零空间中只有零向量。方程组$Ax=b$有0个或1个解。这是我们之前学习的内容，在提到的时候应该很熟练的了解到这些信息。这个时候$A^{T}A$是$n\times n$的，也就是说它是一个可逆矩阵。因此有：$$(A^{T}A{)}^{-1}{A}^{T}A=I$$那么$(A^{T}A{)}^{-1}{A}^T$就是矩阵$A$的左逆，也就是当矩阵$A$左乘它的时候可以得到单位矩阵，但是右乘的时候不能得到单位矩阵。这种方式对于最小二乘是非常重要的。

右逆。 再看行满秩的矩阵$A_{m\times n}$，则$r=m<n$。左零空间中只有零向量，但$Ax=b$总有解。这也是之前的相关内容。我们看$A{A}^T$，这是一个$m\times m$的矩阵，并且它是可逆的，这是由$r$决定的。于是：$$A{A}^T(A{A}^T{)}^{-1}=I$$这个时候我们就得到了右逆，即$A^T(A{A}^T{)}^{-1}$。虽然左逆右乘和右逆左乘都不能够得到单位矩阵，但是会得到我们熟悉的矩阵：$A(A^{T}A{)}^{-1}{A}^T$，这是左逆右乘得到的投影矩阵，它是将矩阵投影到列空间上的矩阵；$A^T(A{A}^T{)}^{-1}A$，这也是投影矩阵的一种，之所以不常见，是因为它是将矩阵投影到行空间上的矩阵。

伪逆。 在某些情况下，我们不在整个向量空间上取逆，而仅仅限制在某些子空间上，通常是不包括零空间，这样得到的逆就是伪逆，虽然他们不是真正的逆，但它们确实是最接近于逆的矩阵了。伪逆记为：$A^{+}$。比如：在左逆的时候，只有在$A$是列满秩的情况下，$A^{T}A$才可逆，最小二乘法才得以进行，但实际上却有很多不满足满秩的矩阵，这个时候就需要使用伪逆。每个矩阵都有伪逆，但不一定有左右逆。关于伪逆，这里介绍的非常有限，还需参考其他资料。

发现伪逆的方法： 这里介绍一种方法，通过奇异值分解进行寻找伪逆。之所以能够使用奇异值分解，是因为$\Sigma$中的值大都来自于$A^{T}A,A{A}^T$。如：对于矩阵$A$，$A=U\Sigma V^T$，并且$\Sigma$的值如下： $$\Sigma =\left[\begin{array}{ccccc}{\sigma }_1& & & & \\ & ...& & & \\ & & {\sigma }_n& & \\ & & & 0& \\ & & & & ...\end{array}\right]{\Sigma }^{+}=\left[\begin{array}{ccccc}\frac{1}{{\sigma }_1}& & & & \\ & ...& & & \\ & & \frac{1}{{\sigma }_n}& & \\ & & & 0& \\ & & & & ...\end{array}\right]$$在这种情况下，它们的积并不是单位矩阵，因为伪逆作用于原矩阵根本就得不到单位矩阵。它们的积如下：$${\Sigma }^{+}\Sigma =\left[\begin{array}{ccccc}1& & & & \\ & ...& & & \\ & & 1& & \\ & & & 0& \\ & & & & ...\end{array}\right]$$不过左上角是一个$n\times n$的单位矩阵块。这实际上是投影在行空间上的投影矩阵。而$\Sigma {\Sigma }^{+}$得到的是$m\times m$的矩阵，它是投影在列空间上的投影矩阵。这就是伪逆的作用，无论乘在左边还是右边都得不到单位矩阵，但是能够得到投影矩阵，带我们进入行空间和列空间，排除了零空间。 这句话的几何意义还是非常的晦涩，所以还应该慢慢体会。接下来，我们就可以得到伪逆的公式：$$A^{+}=V{\Sigma }^{+}{U}^T$$奇异值分解和特征值分解都是非常非常厉害的工具，应用也是非常的广泛。伪逆使得实际应用范围更加广泛了。