机器学习中的数学——Moore-Penrose伪逆

分类目录：《算法设计与分析》总目录

---

对于非方矩阵而言，其逆矩阵没有定义。假设在下面的问题中，我们希望通过矩阵$A$的左逆$B$来求解线性方程：
$$AX=y$$

等式两边左乘左逆$B$后，我们得到：
$$x=By$$

取决于问题的形式，我们可能无法设计一个唯一的映射将$A$映射到$B$。如果矩阵$A$的行数大于列数，那么上述方程可能没有解。如果矩阵$A$的行数小于列数，那么上述矩阵可能有多个解。

Moore-Penrose伪逆使我们在这类问题上取得了一定的进展。矩阵$A$的伪逆定义为：
$$A^{+}=\underset{\alpha \searrow 0}{\lim }(A^{T}A+\alpha I{)}^{-1}{A}^T$$

计算伪逆的实际算法没有基于这个定义，而是使用下面的公式：
$$A^{+}=V{D}^{+}{U}^T$$

其中，矩阵$U$，$D$和$V$是矩阵$A$奇异值分解后得到的矩阵。对角矩阵$D$的伪逆$D$是其非零元素取倒数之后再转置得到的。

当矩阵$A$的列数多于行数时，使用伪逆求解线性方程是众多可能解法中的种。特别地$x=A^{+}y$是方程所有可行解中欧几里得范数$||x|{|}_2$最小的一个。

当矩阵$A$的行数多于列数时，可能没有解。在这种情况下，通过伪逆得到的$x$使得$Ax$和y$的$欧几里得距离$||Ax-y|{|}_2$最小