Moore-Penrose伪逆（Moore-Penrose广义逆）

Moore-Penrose伪逆（Moore-Penrose广义逆）

---

对于非方矩阵而言，其逆矩阵没有定义。假设在下面的问题中，我们希望通过矩阵A的左逆B来求解线性方程：
$$Ax=y$$
等式两边左乘$A^{-1}$后，我们得到：
$$x=A^{-1}y$$
是否存在一个唯一的映射，将A映射到B，取决于问题的形式。
如果矩阵A的行数大于列数，那么上述方程可能没有解；如果矩阵A的行数小于列数，那么上述矩阵可能有很多解。

Moore-Penrose伪逆使我们能够解决这类问题。矩阵A的伪逆定义为：
$$A^{+}=\underset{x\to 0}{\lim }(A^{T}A+xI{)}^{-1}{A}^T$$
但是在实际中计算伪逆是使用下面的式子：
$$A^{+}=V{D}^{+}{U}^H$$
其中$V、D^{+}、U^H$都是矩阵A按照奇异值分解后得到的。

• 矩阵右上角$A^H$的$H$是什么呢？

  这是一种转置，但是能应用更广泛的范围，被称作共轭转置。当出现复数的时候，才会体现它的不同，在为实数的时候和普通转置的操作是一样的。下面我们举一个共轭转置的例子。
  $$A=\left[\begin{array}{cc}1+i& 3\\ 2-3i& 6\end{array}\right]$$
  则$A$的共轭转置$A^H$为：
  $$A^H=\left[\begin{array}{cc}1-i& 2+3i\\ 3& 6\end{array}\right]$$

倘若学了矩阵论，那肯定会想起广义逆，没错，伪逆就是广义逆的一种，从它的定义以及描述来看，不能说毫无关系，只能说是一模一样。

---

如何求解Moore-Penrose伪逆（Moore-Penrose广义逆）

---

要想求解伪逆，我们要经过以下两步

• 1. 求解矩阵的奇异值分解
• 2. 按照求解的奇异值分别进行变换
• 3. 按照伪逆公式求解公式求解该矩阵的伪逆

我们通过一个小例子进行引入：

求解矩阵$A=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]$的伪逆$A^{+}$。

我们通过这个很简单的例题来引入。

1.矩阵的奇异值分解

---

首先，我们先进行矩阵$A$的奇异值分解。

奇异值分解的公式是怎样的呢？它的各个元素和我们的最终目的求解矩阵的伪逆很像，这也是为什么我们要先求解奇异值分解。奇异值分解公式为：
$$A=UD{V}^H$$

其实在矩阵论这本书上是$A=U\Sigma V^H$,但是在我查找资料，推测其定义应该是一样的，所以在这里以伪逆的定义形式来命名。（当然也有可能是我出错了，倘若如此，希望指正，谢谢！）

由之前的讲解我们可以得出：
$$A^H=\left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 0\end{array}\right]$$
则有
$$A^{H}A=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$$
接下来求解$A^{H}A$的特征值,通过下面的公式求解：
$$|\lambda I-A^{H}A|=(\lambda -1{)}^2\lambda$$
求解可得特征值分别为：
$${\lambda }_1=1,{\lambda }_2=1,{\lambda }_3=0$$

---

1. 第一步，根据特征值求解$D$

由特征值我们可以求解出$D$,那么$D$的求解公式是咋样的呢？
在这里我给出求解不为零部分的通式：
$$\Delta =\left[\begin{array}{ccccc}{\sigma }_1& & & & \\ & {\sigma }_2& & & \\ & & \ddots & & \\ & & & & {\sigma }_n\end{array}\right]$$
其中的参数$\sigma$与$\lambda$关系如下(只求不为零的)：
$${\sigma }_i=\sqrt{{\lambda }_i}$$
而在该题中$D$应该为多少呢？维度是怎样的呢？我们需要根据$D$的左右矩阵来判断，也就是必须满足矩阵的运算规则。所以它的$\Delta =\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$

而$D$的通式为：
$$D=\left[\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right]$$
在$D$中，$0$表示的不是单个0，而是$0$矩阵，具体大小，视左右矩阵而论。

---

2. 第二步，求解变量$V$

要想求解$V$,首先需要求解出$A^{H}A$特征值对应的特征向量。根据特征向量求解公式：
$$({\lambda }_{i}I-A)x=0$$

注意，上面公式是指${\lambda }_i$为$A$的特征值，而在本题中，${\lambda }_i$是$A^{H}A$的特征值，所以在计算时应该是：
$({\lambda }_{i}I-A^{H}A)x=0$

求解对应的基础解系选取一个简单的作为特征向量,求解的各特征值对应的特征向量为：${\alpha }_1=(1,0,0{)}^T,{\alpha }_2=(0,1,0{)}^T,{\alpha }_3=(0,0,1{)}^T$,然后需要将得到的特征向量进行标准正交化，这里将标准正交化后的结果用$v_1,v_2,v_3$表示，其实对于当前例子我们可以看出求得的特征向量标准正交化后也是一样的，也就是$v_1=(1,0,0{)}^T,v_2=(0,1,0{)}^T,v_3=(0,0,1{)}^T$。

$V$的求解公式如下：
$$V=(v_1,v_2,\cdots ,v_n)$$

所以，$V=(v_1,v_2,v_3)=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$

3. 第三步，求解变量 $U$

求解$U$按照以下规则,首先求解特征值不为零的。按照下面的公式进行求解：
$$u_i=\frac{1}{{\sigma }_i}A{v}_i$$
根据公式可得:$u_1=\frac{1}{{\sigma }_1}A{v}_1=(0,0,1,0{)}^T,u_2=\frac{1}{{\sigma }_2}A{v}_2=(0,0,0,1{)}^T$,再通过已得到的$v_1,v_2$来求解，根据性质，$U$中的子列向量必须两两正交，所以剩下的列向量必须满足下面要求：
u i = { β ∣ u 1 T β = 0 , u 2 T β = 0 } u_i=\lbrace{\beta}|u_1^T\beta=0,u_2^T\beta=0\rbrace ui​={β∣u1T​β=0,u2T​β=0}
最终求解可得$\beta =(k_1,k_2,0,0)$,其中$k_1,k_2$为任意实数。
所以可得$u_3=(1,0,0,0),u_4=(0,1,0,0)$。

从而可知：
$$U=(u_1,u_2,u_3,u_4)=\left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\\ 1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$$

---

4. 第四步 确定$D$，得出最后结果

从上面我们已经知道如下结果：
$$U=\left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\\ 1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$$
$$V=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
现在我们就需要来确定$D$了，我们已知：
$\Delta =\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$

$$D=\left[\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right]$$
而矩阵$A$的奇异值分解为下面公式，$A=UD{V}^H$

所以我们可得$D$的维度，也就是$D_{4\times 3}$,所以最终我们确定$D$：
$$D=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$

到这里，矩阵的奇异值分解就结束了，我们可以通过公式：$A=UD{V}^H$来进行验证。

虽然奇异值分解结束了，但是伪逆计算却还没开始，不过当你已经求解出了奇异值分解之后，伪逆也就不难了。

---

2. 矩阵伪逆的计算

这里我们还是需要摆出伪逆的计算公式。
$$A^{+}=V{D}^{+}{U}^H$$

而我们刚才奇异值分解的是：$A=UD{V}^H$

这里有一个很不幸消息，如果你直接这样看的话你会发现，我们所求的$D$其实也是个不可逆矩阵，也就是说如果这样的话，也是要求伪逆的。而且你会有更惊人的发现，它的和$A$是很相似的。所以这里我们需要分解。

也就是真正使用的公式：

$$A=UD{V}^H=U\left(\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right)V^H$$
$$A^{+}=V{D}^{+}{U}^H=V\left(\begin{array}{cc}{\Delta }^{-1}& 0\\ 0& 0\end{array}\right)U^H$$

这样你就会发现很容易求解，由于$\Delta =\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$，所以
${\Delta }^{-1}=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$

那么就可以得出：$D^{+}=\left(\begin{array}{cc}{\Delta }^{-1}& 0\\ 0& 0\end{array}\right)=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 0\end{array}\right]$

所以可得$A$的伪逆，亦即广义逆为：
$$A^{+}=V{D}^{+}{U}^H=V\left(\begin{array}{cc}{\Delta }^{-1}& 0\\ 0& 0\end{array}\right)U^H=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 0\end{array}\right]\left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\\ 1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]=\left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 0\end{array}\right]$$

---

至此，我们求解完毕，其实在本文中，我们最最主要了解的是，我们一般不使用原始公式，而是使用下面的：

$$A=U\left(\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right)V^H$$
$$A^{+}=V\left(\begin{array}{cc}{\Delta }^{-1}& 0\\ 0& 0\end{array}\right)U^H$$

---