矩阵论——广义逆矩阵

闲话

没有关系的闲话

这次不知道为什么，点进来写博客，之前一直都有的模板，这次是空白，很迷，难道设置是只有前两次写的时候会出现模板么？？佛了，没了模板写着真累。
以前只是觉得赵老师很强，这次老师在讲课之余给我们分享了一下他的传奇经历，同时给我们灌了不少鸡汤，对此我只能说是肝败吓疯，在我还在玩尿泥的年龄，人家那个年龄就可以做收音机了，小学就弄懂了别人大学才要学的物理化学，电路板也都是自己腐蚀自己做的，这可真是……传奇。

有点关系的闲话

在之前就提到过，而且一直困扰我的问题，矩阵到底是什么？既然他可以是很多东西的话，那这个问题本身就没什么意义了，空谈个矩阵是什么，好像没什么用。
结合广义逆矩阵再来提矩阵，首先要说明矩阵和可逆矩阵，以及可逆矩阵的逆矩阵，即一般矩阵$\supset$方阵$\supset$可逆矩阵可逆矩阵$A$&其逆矩阵$A^{-1}$这是一种很好的分析问题的方式，首先，我们面对一个方程$Ax=b$，直接分析的话倒是有矩阵分解，分步迭代计算，但是那是交给计算机的，不是由我们人来分析的，我们分析的时候，一般会用演绎推理，即通过强化$A$的条件，也就是找一个特例来分析，进而，就发现，只要$A$可逆就可以完成$x=A^{-1}b$这样的表达，紧接着，再进行归纳，设计一种广义逆矩阵，可以应对$m\times n$阶的非奇异矩阵。
说这么多的原因就是老师在讲了投影矩阵后，提出让我们自己设计一下广义逆，虽然我自己能力有限，还是不小心看到了答案，错失了这个锻炼的机会，但是还是分析一下问题形成和解决的思路，希望日后自己遇到实际问题的时候能处理得当。

投影算子与投影矩阵（12.22时期的想法）

说实话，老师讲这个时候，我感觉和广义逆的关系不是那么的明显（越学越觉得自己渣）
首先，$m\times n$维矩阵左乘一个$n$维度列向量，得到的是$m$维的列向量，这是之前的笔记里也提到过的，一个方阵左乘一个列向量，得到的向量维数和初始列向量的维度是一样的，所以，我们可以将这类方阵视为一种变换，称之为算子，而投影算子就是这样的一个东西。

首先为了方便分析问题，对投影进行如下的定义（限制条件增强）

一般来说，在条件限定增多的时候，那么它们的性质也就变得更多了，更方便我们分析问题。
假设$L,M$均为$C^n$的子空间，且$L\oplus M=C^n$于是$x\in C^n$可以被唯一的分解为$x=y+z,y\in L,z\in M$称$y$是$x$由$M$到$L$的投影。
将任意$x\in C^n$变为沿$M$到$L$的投影变换称为沿$M$到$L$的投影算子，为$P_{L,M}$表示为$P_{L,M}x=y$

讨论（由限制条件增强来带的性质）

首先，投影算子$P_{L,M}$将$C^n$映射成了$L$（图像上表示为所有的向量沿$y$轴向$x$轴投影后就是$x$轴全体）
再次，当$x\in L$时$P_{L,M}x=x$，当$x\in M$时$P_{L,M}x=0向量$（图像上表示为$x$轴上的向量沿$y$轴向$x$轴投影后就是$x$本身，而$y$轴上的向量沿$y$轴向$x$轴投影后就是坐标原点，零元素）
还有，$P_{L,M}$的值域为$L$，零空间为$M$,$R(P_{L,M})=L,N(P_{L,M})=M$（图像上表示为，向量可以投影满整个$x$轴，投影为零向量的向量集合为$y$轴）
最后，$P_{L,M}$是线性算子，满足$P_{L,M}(kx+ly)=k{P}_{L,M}x+l{P}_{L,M}y,k,l\in 数域K$（图像上表示为合力在$x$轴上的分量为0）
此外$P_{L,M}=P_{L,M}^2$投影阵都是幂等阵，投影算子都是幂等算子，（图像上表示为，任何向量，投影多少次和投影一次得到的结果都是相同的）

引理及相关证明（由以上性质引出的一些结论）

E是幂等矩阵，则有R(I-E)=N(E)

证明如下
$$\begin{gathered} 假设E_{n\times n}\in C^{n\times n}是幂等阵，E^2=E \\ E(I-E)=0,N(E)=R(I-E) \\ \forall x\in R(I-E),y\in C^{n\times n},x=(I-E)y \\ Ex=\underset{0}{\underbrace{E(I-E)}}y\to Ex=0\to x\in N(E) \\ R(I-E)\subseteq N(E) \\ 证明dimR(I-E)=dimN(E) \\ 已知R(I-E)\subseteq N(E) \\ 则dimR(I-E)\le dimN(E)=n-dim(E) \\ 这里dimN(E)就是表征Es=0解空间里基解的个数为n-rank(E)=n-dim(E) \\ rank(I-E)+rank(E)\le n \\ I=E+(I-E),n\le rank(E)+rank(I-E) \\ 注ranka+rankb\ge rank(a+b),rank(ab)\le min[ranka,rankb] \\ rankE+rank(I-E)\ge n \\ rankE+rank(I-E)=n成立，证明结束 \end{gathered}$$

$P$是幂等矩阵和$P$投影矩阵互为充要条件

首先投影矩阵都是幂等矩阵
幂等矩阵都是投影矩阵的证明，假设$P$为幂等矩阵，$R(P),N(P)$为其线性子空间
$\forall x\in C^{n}x=x+Px-Px=\underset{R(P)}{\underbrace{Px}}+\underset{N(P)}{\underbrace{(I-P)x}}$
设 z ∈ R ( P ) ∩ N ( P ) , z ∈ N ( P ) = R ( I − E ) ∃ u , v ∈ C n , z = P u , z = ( I − P ) v z = P u = P 2 u = P P u = P ( I − P ) v = 0 R ( P ) ∩ N ( P ) = { 0 } , C n = R ( P ) ⊕ N ( P ) , P = P R ( P ) , N ( P ) 设z\in R(P)\cap N(P),z\in N(P)=R(I-E)\\ \exists u,v\in C^n ,z=Pu,z=(I-P)v\\ z=Pu=P^2u=PPu=P(I-P)v=0\\ R(P)\cap N(P)=\{0\},C^n=R(P)\oplus N(P),P=P_{R(P),N(P)} 设z∈R(P)∩N(P),z∈N(P)=R(I−E)∃u,v∈Cn,z=Pu,z=(I−P)vz=Pu=P2u=PPu=P(I−P)v=0R(P)∩N(P)={0},Cn=R(P)⊕N(P),P=PR(P),N(P)​

投影矩阵实例

确定$C^n$的基底时，$P_{L.M}$就确定了，假设$dimL=r,dimm=n-r$
在$L,M$中分别取 { x 1 , x 2 ⋯ x r } , { y 1 , y 2 ⋯ y n − r } \{x_1,x_2\cdots x_r \},\{y_1,y_2\cdots y_{n-r}\} {x1​,x2​⋯xr​},{y1​,y2​⋯yn−r​}联合构成$C^n$的基
X = { x 1 , x 2 ⋯ x r } , Y = { y 1 , y 2 ⋯ y n − r } r a n k ( { X , Y } ) = n 为 可 逆 方 阵 P X , Y { X , Y } = { X , 0 } → P X , Y = { X , 0 } { X , Y } − 1 X=\{x_1,x_2\cdots x_r \},Y=\{y_1,y_2\cdots y_{n-r}\}\\ rank(\{X,Y\})=n为可逆方阵\\ P_{X,Y}\{X,Y\}=\{X,0\}\rightarrow P_{X,Y}=\{X,0\}\{X,Y\}^{-1} X={x1​,x2​⋯xr​},Y={y1​,y2​⋯yn−r​}rank({X,Y})=n为可逆方阵PX,Y​{X,Y}={X,0}→PX,Y​={X,0}{X,Y}−1

广义逆矩阵的存在&性质&构造方法(18/12/28)

首先，明确一个事实，广义逆的推出是为了解决实际问题，所以，针对不同的问题形态，可能衍生出不同的广义逆定义，而根据定义求出的广义逆可能不止一个但是满足给出条件整体的仅有一类，这一类中不一定只有一个

penrose广义逆介绍

首先是定义：设矩阵$A\in C^{m\times n}$若$X\in C^{m\times n}$满足以下4个$penrose$方程
$$AXA=A\text{\hspace{1em}(1)}$$
$$XAX=X\text{\hspace{1em}(2)}$$
$$(AX{)}^{\ast }=AX\text{\hspace{1em}(3)}$$
$$(XA{)}^{\ast }=XA\text{\hspace{1em}(4)}$$
其中*为共轭转置，则称$X$为$penrose$广义逆

一些题外话的说明及思考

老师对于广义逆的讲解是通过设计的方法一步一步推导而来的，首先，对于$A$矩阵，那么假设它有广义逆$A^{+}$那么，依据对称性$A$与$A^{+}$必定互为广义逆，既然如此，我们就可以假设广义逆是满足前两个方程的，对于后两个方程稍后分析。
紧接着，满足第一第二方程的矩阵存在么？不存在的话怎样调整定义使其存在？存在的话如何强化条件使之唯一？
定理告诉我们了答案，但是我们思考问题是不能这样来的，问题的解决和学习是一个逆向的过程
定理：对任意的$A\in C^{m\times n}$满足$penrose$四方程的广义逆是存在且唯一的
存在性证明：
$$\begin{gathered} 假设rankA=r \\ r=0时，A是全零阵，可以验证，A^{+}为n\times m阶全零阵 \\ 若r<0，A可以进行奇异值(SVD)分解，A=UD{V}^{\ast } \\ 可验证A^{+}=V\left[\begin{array}{ccccc}{\sigma }_1^{-1}& \cdots & 0& \cdots & 0\\ ⋮& \ddots & ⋮& & ⋮\\ 0& 0& {\sigma }_r^{-1}& \dots & 0\\ ⋮& & ⋮& \ddots & ⋮\\ 0& \cdots & 0& \cdots & 0\end{array}\right]U^{\ast } \end{gathered}$$
唯一性证明：
$$\begin{gathered} 假设X,Y均满足penrose四个方程，则 \\ X=XAX=X(AX{)}^{\ast }=X{X}^{\ast }A=X{X}^{\ast }(AYA{)}^{\ast } \\ =X{X}^{\ast }{A}^{\ast }{Y}^{\ast }{A}^{\ast }=X(AX{)}^{\ast }(AY{)}^{\ast }=XAXAY \\ =XAY=(XA{)}^{\ast }Y=(XA{)}^{\ast }YAY=(XA{)}^{\ast }(YA{)}^{\ast }Y \\ =A^{\ast }{X}^{\ast }{A}^{\ast }{Y}^{\ast }Y=A^{\ast }{Y}^{\ast }Y=(YA{)}^{\ast }Y=YAY=Y \end{gathered}$$
可以看出，为了保证广义逆矩阵的唯一性进而引入了四个方程的后两个方程，而这后面两个方程的加入使得
$$\begin{gathered} (AX{)}^2=AXAX=AX \\ (AX{)}^{\ast }=AX \\ (XA{)}^2=XAXA=XA \\ (XA{)}^{\ast }=XA \end{gathered}$$
可以看出$AX$和$XA$是幂等阵的同时还是$hermite$矩阵
接下来需要讨论的就是——仅仅满足一个或是几个方程时的矩阵有如何的性质

广义逆的性质与构造