Ｍoore-Penrose伪逆

对于非方阵而言，其逆矩阵没有定义。假设在下列问题中，我们希望通过矩阵$\textit{A}$的左逆$\textit{B}$来求解线性方程，

$$\textit{A}\textit{x}=\textit{y}$$
等式两边左乘左逆 $\textit{B}$后，我们得到，
$$\textit{x}=\textit{B}\textit{y}$$
取决于问题的形式，我们可能无法设计一个唯一的映射将 $\textit{A}$映射到 $\textit{B}$。
如果矩阵 $\textit{A}$的行数大于列数，那么上述方程可能没有解。如果矩阵 $\textit{A}$的列数大于行数，那么上述方程可能有多个解。
Ｍoore-Penrose伪逆使我们在这类问题上取得了一定的进展。矩阵 $\textit{A}$的伪逆定义为，
$$\textit{A}^{+}=\lim_{\alpha \rightarrow 0}\left ( \textit{A}^{T}\textit{A}+\alpha\textit{I} \right )^{-1}\textit{A}^{T}$$
计算伪逆的算法没有基于这个定义，而是使用下面的公式，
$$\textit{A}^{+}=\textit{V}\textit{D}^{+}\textit{U}^{T}$$
其中，矩阵 $\textit{U}$， $\textit{D}$和 $\textit{V}$是矩阵 $\textit{A}$经奇异值分解后得到的矩阵。对角矩阵 $\textit{D}$的伪逆 $\textit{D}^{+}$是其非零元素取倒数再经转置后得到的。
当矩阵 $\textit{A}$的列数多于行数时，使用伪逆求解线性方程是众多可能解法中的一种。特别的， $\textit{x}=\textit{A}^{+}y$是方程所有可行解中欧几里德范数 $\left \| x \right \|_{2}$最小的一个。
当矩阵 $\textit{A}$的行数多于列数时，可能没有解。在这种情况下，通过伪逆求得的 $\textit{x}$使得 $\textit{Ax}$和 $\textit{y}$的欧几里德距离 $\left \| \textit{Ax-y} \right \|_{2}$最小。