向量在线性方程组解集上的投影

线性代数补充：向量在线性方程组解集上的投影

设$A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m,x\in {\mathbb{R}}^n$，考虑线性方程组$Ax=b$。将$A$写成行分块的形式
$$A=\left[\begin{array}{c}{a}_1^T\\ a_2^T\\ \cdots \\ a_m^T\end{array}\right]$$
则有$a_i^{T}x=b_i(i=1,2,\cdots ,m)$。假设$A$行满秩，该方程组定义了$m$个超平面的交集。向量$v\in {\mathbb{R}}^n$在这个解集上的投影为
$$\begin{gathered} {\text{argmin}}_x\frac{1}{2}||x-v|{|}_2^2 \\ \text{s.t.}Ax=b \end{gathered}$$
令$u=x-v$，问题变为
$${\text{argmin}}_x||u|{|}_2,\text{s.t.}Au=b-Av$$
当$u$和$A$的零空间正交时，对$A$的零空间的任意向量$w$，有
$$\begin{gathered} ||u+w|{|}_2^2=||u|{|}_2^2+||w|{|}_2^2 \\ A(u+w)=b-Av \end{gathered}$$
因此$||u|{|}_2$最小。此时$u$落在$A$的行空间内。设$u=A^{T}w$，代入知
$$\begin{gathered} w=(A{A}^T{)}^{-1}(b-Av) \\ u=A^T(A{A}^T{)}^{-1}(b-Av) \end{gathered}$$
因此
$${\text{Proj}}_{Ax=b}(v)=v+A^T(A{A}^T{)}^{-1}(b-Av)$$
特别地，当$b=0$，即向量$v$在$A$的零解空间上的投影为
$${\text{Proj}}_{Ax=0}(v)=v-A^T(A{A}^T{)}^{-1}Av$$
注意这个解与最小二乘的不同。最小二乘解决的问题是
$$\begin{gathered} {\text{argmin}}_x\frac{1}{2}||x-v|{|}^2 \\ \text{s.t.}x=Au \end{gathered}$$
也就是向量$v$向$A$的列空间的投影。最小二乘解为
$$x=A(A^{T}A{)}^{-1}{A}^{T}v$$
一个和$A$的左逆相关，一个和$A$的右逆相关。更一般地说，最小范数解是$A$行满秩时的最优解，最小二乘解是$A$列满秩时的最优解。