# 机器学习python：机器学习相关矩阵知识(八）矩阵的近似与拟合(下)

机器学习python：机器学习相关矩阵知识(八）矩阵的近似与拟合(下)

互补的子空间

在R^m空间中有一个向量b。可以选取m个显影无关的向量a₁,a₂,·······,a_m作为R^m空间中的一组基向量，将向量b向R^m的每个基向量上投影,就能的到m个投影向量:p₁,p₂,·······,p_m.并且他们满足: b = p₁+p₂+·····+p_m,即通过空间中的所有投影轴上的投影可以重构向量b的完整信息。
而互补子空间的概念是这样的,当我们有一个由a₁,a₂,·······,a_m-1构成的R^m-1空间时，向量b在各个基向量上的投影分别为:p₁,p₂,·······,p_m-1.此时向量b在这个R^m-1空间上的投影可以表示为p₁+p₂+·······+p_m-1，但此时在R^m-1的投影并没有完全包含向量b的所有信息，必须加上向量b在a_m上的投影才能完整的构建出向量b，此时称由a₁,a₂,·······,a_m-1构成的R^m-1空间与a_m构成的直线为互补关系。

正交子空间

当子空间U与子空间W在同一个R^m空间中，且满足子空间A追至与子空间U的每一个向量都垂直时,我们称两个子空间为正交子空间。

相互正交补子空间

当R^m空间中的两个互补的子空间，如过满足相互正交，则称他们为满足正交补的关系。在之前的学习中我们知道e=b-p,b=p+e;e·p=0,e垂直于p所在平面,所以向量e与向量p所在的子空间互为正交补子空间。所以当我们在R^m中找到两组满足正交补关系的子空间时,就知道向量在哪里投影。

处理无解方程组的近似解

当我们求线性方程组Ax=b时,矩阵A的线性组合构成了其列空间,如果要求方程组有解，内必须满足向量b在矩阵A的列空间上。如果向量b不在向量A的列空间上则方程无解。当方程无解时,我们应当寻找一个距离向量b最近的向量，并使这个向量在矩阵A的列空间上,从而得到近似原线性方程的近似解。
将向量b向向量A的列空间进行投影，获得投影向量p。而误差向量e则正是向量b向列空间的正交补空间——左零空间的投影(A^Tx=0), 向量$\hat{x}$则是我们获得的近似解向量。
例题：
$$\begin{gathered} 2x+y=4 \\ x+2y=3 \\ x+4y=9 \end{gathered}$$
求这个方程的解或者近似解
首先我们将这个式子化为矩阵式得：
A=$[\begin{array}{cc}2& 1\\ 1& 2\\ 1& 4\end{array}$