清华大学公开课线性代数2——第6讲：伪逆

此博客停止更新，迁移至SnailDove’s blog，查看本文请点击此处，清华大学线性代数2笔记汇总：线性代数总结

笔记源自：清华大学公开课：线性代数2——第6讲：伪逆

**提示：**如果文中图片看不清文字，请右键单击鼠标，选择在新窗口打开图片，然后放大图片（这边上传之前都是可以看清的，由于网页正文部分大小固定，因此图片被自动缩小以便适配网页），截图部分是课堂ppt老师随手的板书。

引言

本文基础：SVD分解原理

矩阵的奇异值分解可以理解成从$R^n$到$R^m$的线性变换在不同基底下矩阵表示，接下来利用矩阵的奇异值分解
来定义矩阵的伪逆，然后再利用矩阵的伪逆来讨论线性方程组Ax＝b无解时的最小二乘解，线性代数的中心问题是
求解线性方程组$Ax=b$，最简单的情况是如果系数矩阵A是n阶的可逆矩阵，那么这时对于任意的n维向量$b$，线性方程组$Ax=b$有唯一的解，这个解是$A^{-1}b$，那这就启发去对于不可逆的矩阵或者是对于$A_{m\times n}$的矩阵，我们来定义它的一个逆矩阵，那么这时候逆矩阵我们叫做伪逆或者是叫广义逆 。

##定义

伪逆的定义来自于奇异值分解：

(1)若$A$可逆，即$r=m=n$，则：$A^{-1}=(U\Sigma V^T{)}^{-1}=V{\Sigma }^{-1}{U}^T=A^{+}$，注意：由奇异值分解公式 $AV=U\Sigma ,(v_1...v_r)\in C(A^T),(v_{r+1}...v_n)\in N(A),(u_1...u_r)\in C(A),(u_{r+1}...u_m)\in N(A^T)$ 得：$AV=U\Sigma :C(A^T)\to C(A)$，同理可得：$A^{+}{U}^T=V{\Sigma }^{+}:C(A)\to C(A^T)$

(2)$A{A}^{+}=(U{\Sigma }_{m\times n}{V}^T)(V{\Sigma }_{n\times m}^{+}{U}^T)=U{\Sigma }_{m\times n}{\Sigma }_{n\times m}^{+}{U}^T=U{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}{U}^T$ 得出以下3个性质：

• 对称性：$(A{A}^{+}{)}^T=A{A}^{+}$
• $A{A}^{+}=u_1{u}_1^T+...+u_r{u}_r^T,U=(u_1,$