机器学习-线性代数-5-空间中的向量投影与最小二乘法

空间中的向量投影与最小二乘法

这一部分主要关于近似拟合

一、引入

1. 线性方程无解情况：如何找到一个原始向量使得经过矩阵变换后距离目标向量最近
2. 直线拟合：很多不在同一条直线上的点，如何找到一条直线距离这些点的距离最近

二、投影和投影的描述

1、投影描述最近

在空间中有一个穿过原点的直线，并且沿着向量$a$的方向，在空间中有一个点$b$，他不在直线上，如何在这条直线找到一个点，使之距离点$b$最近?如图

在图中，我们发现向量$b$和向量$a$的夹角是$\theta$，因此通过b点到直线的最近距离是$|b|sin\theta$。还需要注意到向量$p$，从原点出发到垂直交点的向量，他是向量$b$在向量$a$上的投影。而向量$e=b-p$我们称之为误差向量，他的长度就是我们要寻找的最近距离。

在二维、三维空间甚至是更高维空间中，需要使用矩阵工具来描述投影过程。

2、利用矩阵描述投影

如何用矩阵描述向量$b$向一条直线、一个平面、一个$n$维空间投影的过程呢？

(1)向一维直线投影

若向量$b$向一条直线（以$a$为基向量）投影，记为向量$p$，向量$p$可以用$a$来表示，$p=\hat{x}a$($\hat{x}$表示标量)，我们最终可以通过求取这个$\hat{x}$,最终得到投影$p$和投影矩阵$P $.

核心：误差向量$e$和基向量$a$垂直，因此有$a\cdot e=0$，展开得$a\cdot e=0\to a\cdot (b-p)=0\to a\cdot (b-\hat{x}a)=0$,此时便可得到$\hat{x}=\frac{a\cdot b}{a\cdot a}$。由$a\cdot b=a^{T}b$，最终得$\hat{x}=\frac{a^{T}b}{a^{T}a}$.

因此我们可以得到$p=\hat{x}a=\frac{a^{T}b}{a^{T}a}a$

最后我们要得到将向量$b$变换到其投影$p$的变换矩阵$P$，可以通过如下变换：

$p=\hat{x}a=\frac{a^{T}b}{a^{T}a}a=a\frac{a^{T}b}{a^{T}a}=\frac{a{a}^T}{a^{T}a}b$

由此可以得到投影矩阵$P=\frac{a{a}^T}{a^{T}a}$

(2)向二维平面投影

下面将问题拓展到二维平面，这个二维平面不仅局限于$R^2$平面，而是空间中任意过原点的二维平面，假设这个二维平面是$R^m$的子空间。

若向量中同样有一个向量$b$,我们想在二维平面找到一个与之距离最近的向量，也就是找向量$b$在平面上的投影向量$p$，如图

目标依旧是找到投影$p$和投影矩阵$P$.

上过高中的一般都知道，一条直线如果和一个平面垂直，则与平面所有向量垂直，选取二维平面两个线性无关的两个向量$a_1,a_2$作为平面的一组基。只要保证误差向量$e$与$a_1,a_2$分别垂直，就能保证$e$与整个平面垂直，向量$p$就是向量$b$在平面上的投影向量。

同样，核心：误差向量$e$和基向量$a$垂直。$a_1\cdot e=0$、$a_2\cdot e=0$，其中$e=b-p$。

投影向量$p$一定是$a_1,a_2$的线性组合，记作$p=p_1+p_2=\widehat{x_1}{a}_1+\widehat{x_2}{a}_2$。将上面的式子进一步概括：记$A=[a_1,a_2],\hat{x}=\left[\begin{array}{c}\widehat{x_1}\\ \widehat{x_2}\end{array}\right]$,可以将投影向量写为：$p=A\hat{x}$.目标也就转换成求$\hat{x}$了。

$a_1\cdot e=0\to a_1\cdot (b-p)=0\to a_1^T(b-A\hat{x})=0$，同理$a_2^T(b-A\hat{x})=0$，将两式结合$\left[\begin{array}{c}{a}_1^T\\ a_2^T\end{array}\right](b-A\hat{x})=0$.$A=[a_1,a_2]$,此时这个式子就是$A^T(b-A\hat{x})=0\to A^{T}A\hat{x}=A^{T}b$,最终有$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$.

所以$p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b$,则投影矩阵$P=A(A^{T}A{)}^{-1}{A}^T$.

(3)向n维子空间投影的一般情况

与二维类似。

$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$.

$p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b$

$P=A(A^{T}A{)}^{-1}{A}^T$

以上讲解的便是如何将一个向量向空间中任意一个子空间进行投影的过程。

三、最小二乘法

最小二乘法关注的是向哪投影，即如何选择投影子空间的问题

1、重要的子空间

(1)互补的子空间

在一个$R^m$的空间中，我们可以选取$m$个线性无关的向量$a_1$、$a_2$、…、$a_m$构成一组基，如果将这组基向量分为两个组，分别构成子空间，可以说这两个空间是互补关系。

概括的说，互补的子空间一方面由不同的基向量所张成，另一方面他们的维数之和为整个$R^m$空间的维数。空间任意一个向量向这些子空间上的投影之和，就是向整个空间的投影。

(2)正交的子空间

子空间$V$和子空间$W$正交成立的条件是，子空间$V$中任意一个向量$v$和子空间$W$中任意一个向量$w$都垂直。

(3)相互正交补的子空间

$R^m$中的两个互补子空间，如果满足相互正交关系，则他们满足正交补的关系。

(4)投影过程中子空间的选择

前面我们提到，在子空间中寻找与目标向量$b$最近的投影向量$p$，前提就是误差向量$e=b-p$与投影向量$p$相互垂直。由于$b=e+p$且$e\cdot p=0$，则$p$所在的子空间和$e$所在的子空间在$R^m$中构成了正交补的关系。

对于一个$R^m$的空间，矩阵$A_{mn}$，所有满足$Ax=0$的向量$x$构成了$A$的零空间$N(A)$，这个式子展开

$Ax=[co{l}_{1}co{l}_2...co{l}_m]x=\left[\begin{array}{c}0\\ ...\\ 0\end{array}\right]$表明任意一个列向量与任意一个零向量垂直，因此列空间与零空间在$R^m$空间中满足正交互补。

2、最小二乘法

上面求取无解线性方程组近似解的方法就是最小二乘法。最终算得投影后的误差最小$|e|=|b-p|=\sqrt{(b_1-p_1{)}^2+(b_2-p_2{)}^2+...+(b_m-p_m{)}^2}$