矩阵论（二）：广义逆矩阵（下）

矩阵论专栏：专栏（文章按照顺序排序）

本文以线性代数知识为基础。关于线代知识，如一些基本的秩（不）等式、零矩阵的判定条件等，可参考下面几篇博客。
矩阵论（零）：线性代数基础知识整理（1）——逆矩阵、初等变换、满秩分解
矩阵论（零）：线性代数基础知识整理（2）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（3）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（4）——线性空间与线性变换
矩阵论（零）：线性代数基础知识整理（5）——特征值与相似

广义逆矩阵的部分主要包括以下内容：

• 左逆与右逆
  • 定义
  • 左逆、右逆存在的条件
• {1}逆
  • 从$Ax=y$的求解引入{1}逆
  • {1}逆的通式
  • 用{1}逆讨论$Ax=y$以及$AXB=D$的求解
• PM逆
  • 定义
  • PM逆的性质（存在性、唯一性、秩、计算性质、列空间、零空间）
  • 用PM逆讨论$Ax=y$以及$AXB=D$的解的存在唯一性
  • PM逆的计算方法
• {1,4}逆
  • 从极小范数解问题引入{1,4}逆
  • A { 1 , 4 } = { M ∣ M A A H = A H } = { M ∣ M A = A + A } A\{1,4\}=\{M|MAA^H=A^H\}=\{M|MA=A^+A\} A{ 1,4}={ M∣MAAH=AH}={ M∣MA=A+A}
  • 利用{1,4}逆解决极小范数解的存在唯一性
• {1,3}逆
  • 从最小二乘问题引入{1,3}逆
  • A { 1 , 3 } = { M ∣ A H A M = A H } = { M ∣ A M = A A + } A\{1,3\}=\{M|A^HAM=A^H\}=\{M|AM=AA^+\} A{ 1,3}={ M∣AHAM=AH}={ M∣AM=AA+}
  • 利用{1,4}逆解决最小二乘问题以及最小二乘解与正规方程组的联系
• 极小范数最小二乘解问题
• 总结
  • 线性回归问题介绍

因为内容比较多，目录中的内容分为上、下两篇博客来写。其中，上篇介绍左逆右逆、{1}逆以及PM逆，下篇（本篇）介绍{1,4}逆、{1,3}逆及其之后的内容。定理1-20在上篇博客中，定理21-31在本文中。
上篇博客链接：链接。

【符号说明】
文中所用向量范数均指Frobenius范数/$l_2$范数（文中可能有一些符号不一致的地方，但一定都是指Frobenius范数/$l_2$范数）。
$F$通常表示数域，$F^{m\times n}$是指元素在数域$F$内的$m\times n$矩阵的集合，$F_r^{m\times n}$是指$F^{m\times n}$中所有秩为$r$的矩阵。$Q$、$R$和$C$分别表示有理数域、实数域和复数域，本文所讨论的数域仅限于这三种数域。单位矩阵用$I$表示，$n$阶单位矩阵用$I_n$表示。
$A^H$是指$A$的共轭转置。注意$\forall A\in F^{m\times n}$，有$A^H\in F^{n\times m}$，这是因为域$F$（$F=Q或R或C$）中的数取共轭后肯定还在$F$中，例如实数的共轭是其自身。
我们用$i$表示虚数单位，用 R e { } Re\{\} Re{ }表示复数的实部， I m { } Im\{\} Im{ }表示复数的虚部。
对矩阵$A$，$R(A)$和$N(A)$分别表示$A$的列空间和零空间。

---

接上篇博客，我们讨论极小范数解和最小二乘解问题，在探讨这两个问题之前，先看下相容方程组的定义：

• 定义：关于x的线性方程组$Ax=y$称为相容方程组或一致方程，当且仅当该方程组有解

说白了就是给有解方程组起个名称而已。显然齐次线性方程组都是相容的，即都是一致方程。

---

{1,4}逆与极小范数解

什么是极小范数解？顾名思义，就是范数最小的解。既然极小范数解是一个解，我们当然要在一致方程的范畴中讨论这个问题（后面会讨论非一致方程的极小范数最小二乘解，此时极小范数是另一个含义，不过与此大体相同）。

• 定义：一致方程$Ax=y$的极小范数解定义为$\hat{x}$满足$$||\hat{x}|{|}_2=\underset{Ax=y}{\min }||x|{|}_2$$

前面已经说过（定理10），一致方程$A_{m\times n}x=y$当$y\ne 0$时的通解为 x = A ( 1 ) y , A ( 1 ) ∈ A { 1 } x=A^{(1)}y,A^{(1)}\in{A\{1\}} x=A(1)y,A(1)∈A{ 1}。这说明，当我们需要寻找一类特殊解时，可以把目标定在寻找一类特殊的{1}逆上。显然，当$y=0$时，$Ax=y$唯一的极小范数解是$x=0$；当$y\ne 0$时，我们就可以寻求一类特殊的{1}逆M使得$x=My$是极小范数解。现在，我们来看M应该满足什么样的条件：
（注意极小范数这样的问题属于讨论函数极值的一类问题，需要使用分析学的方法）

• 定理21：设$A\in F^{m\times n}$， M ∈ A { 1 } M\in{A\{1\}} M∈A{ 1}，数域$F$可以是$R$或$C$，则如下两命题等价：
  命题（1）：$\forall y\in F^m,x=My$是一致方程$Ax=y$的极小范数解
  命题（2）：$MA=A^{+}A$
  证明：
  命题（1）等价于$\forall b\in F^m,x=MAb$是方程$Ax=Ab$的极小范数解。$\forall b\in F^m$，方程$Ax=Ab$的通解为$x=A^{+}Ab+(I-A^{+}A)z,z\in F^n$。因为 M ∈ A { 1 } M\in{A\{1\}} M∈A{ 1}，故必存在$\hat{z}\in F^n$，使得$MAb=A^{+}Ab+(I-A^{+}A)\hat{z}$。为便于分析，引入实值辅助函数$f(z)=||A^{+}Ab+(I-A^{+}A)z|{|}^2,z\in F^n$。
  （1）$\Rightarrow$（2）：由命题（1）知，$f$在$z=\hat{z}$处取得最小值。则对$\forall v\in F^n$，实值函数$g_v(t)=f(\hat{z}+tv),t\in R$和$h_v(t)=f(\hat{z}+itv),t\in R$都在$t=0$处取得最小值。由极值的必要条件，$\frac{d{g}_v}{dt}{|}_{t=0}=0$且$\frac{d{h}_v}{dt}{|}_{t=0}=0$。以$\frac{d{g}_v}{dt}$为例： d g v d t = d d t ∣ ∣ A + A b + ( I − A + A ) ( z ^ + t v ) ∣ ∣ 2 = d d t ∣ ∣ M A b + t ( I − A + A ) v ∣ ∣ 2 = d d t ( ∣ ∣ M A b ∣ ∣ 2 + t 2 ∣ ∣ ( I − A + A ) v ∣ ∣ 2 + 2 t R e { < M A b , ( I − A + A ) v > } ) = 2 t ∣ ∣ ( I − A + A ) v ∣ ∣ 2 + 2 R e { < M A b , ( I − A + A ) v > } \begin{aligned}\frac{dg_v}{dt}&=\frac{d}{dt}||A^+Ab+(I-A^+A)(\hat{z}+tv)||^2\\&=\frac{d}{dt}||MAb+t(I-A^+A)v||^2\\&=\frac{d}{dt}(||MAb||^2+t^2||(I-A^+A)v||^2+2tRe\{<MAb,(I-A^+A)v>\})\\&=2t||(I-A^+A)v||^2+2Re\{<MAb,(I-A^+A)v>\}\end{aligned} dtdgv​​​=dtd​∣∣A+Ab+(I−A+A)(z^+tv)∣∣2=dtd​∣∣MAb+t(I−A+A)v∣∣2=dtd​(∣∣MAb∣∣2+t2∣∣(I−A+A)v∣∣2+2tRe{ <MAb,(I−A+A)v>})=2t∣∣(I−A+A)v∣∣2+2Re{ <MAb,(I−A+A)v>}​当$t=0$时， d g v d t = 2 R e { < M A b , ( I − A + A ) v > } = 0 \frac{dg_v}{dt}=2Re\{<MAb,(I-A^+A)v>\}=0 dtdgv​​=2Re{ <MAb,(I−A+A)v>}=0。同理，当$t=0$时， d h v d t = 2 i I m { < M A b , ( I − A + A ) v > } = 0 \frac{dh_v}{dt}=2iIm\{<MAb,(I-A^+A)v>\}=0 dtdhv​​=2iIm{ <MAb,(I−A