Moore-Penrose 广义逆/伪逆（The Moore-Penrose Pseudoinverse）

嚯嚯火火火

已于 2023-10-04 22:07:01 修改

阅读量2.4k

点赞数

分类专栏：机器学习线性代数文章标签：线性代数

于 2021-10-25 11:15:01 首次发布

本文链接：https://blog.csdn.net/hoz_521/article/details/120948098

版权

机器学习同时被 2 个专栏收录

3 篇文章 0 订阅

订阅专栏

线性代数

3 篇文章 0 订阅

订阅专栏

本文探讨了矩阵求逆通常仅适用于方阵的情况，并介绍了非方阵的伪逆概念。当线性方程组的约束超过未知数或者反之，矩阵的伪逆提供了求解的方法。伪逆可以通过奇异值分解来计算，并且在不同情况下有不同的应用：当列数多于行数时，给出最小欧氏范数解；行数多于列数时，提供最接近解的方案。奇异值分解和伪逆在处理过度约束或欠约束问题时扮演关键角色。

摘要由CSDN通过智能技术生成

矩阵求逆运算一般是对于方阵而言，矩阵求逆没有对非方阵定义。非方阵求逆会给我们带来很多便捷，假设我们得到矩阵A的左逆矩阵B，对于线性方程组Ax=y，我们可以这样求得：x=By；根据问题的结构，有可能无法设计一个从A到B的单一映射。

如果矩阵A更高（行数m大于列数n，即未知数的约束方程可能大于未知数的数目），那么这个方程就有可能没有解。如果矩阵A更宽（行数m小于列数n，即未知数的约束方程一定小于未知数的数目），那么就有多种解。在这些情况下，Moore-Penrose伪逆允许我们取得一些进展。矩阵A的伪逆定义如下：

$eq?A%5E%7B+%7D%3D%5Clim_%7B%5Calpha%20%5Crightarrow%200%7D%28A%5E%7BT%7DA+%5Calpha%20I%29%5E%7B-1%7DA%5E%7BT%7D$

用上述定义计算伪逆是不实用的，计算伪逆的实用算法基于如下公式：

$eq?A%5E%7B+%7D%3DVD%5E%7B+%7DU%5E%7BT%7D$

其中矩阵U、D、V是矩阵A的奇异值分解（上篇文章所讲）；对角矩阵D的伪逆 $eq?D%5E%7B+%7D$ 是通过取其非零元素的倒数,然后所得矩阵进行转置得到的。当A的列数多于行数时，那么使用伪逆解线性方程组就提供了许多可能的解之一，具体地说，它提供了在所有可能的解中具有最小欧氏范数 $eq?%7C%7Cx%7C%7C_%7B2%7D$ 的解 $eq?x%3DA%5E%7B+%7Dy$ 。当A的行数多于列数时，可能方程组是没有解的，在这种情况下，根据欧式范数 $eq?%5Cleft%20%5C%7C%20Ax-y%20%5Cright%20%5C%7C_%7B2%7D$ ，使用伪逆给出了使Ax尽可能接近y的解x。