两个空间点直接距离投影公式_机器学习 线性代数基础 | 3.1 投影，寻找距离最近的向量...

3.1

投影，寻找距离最近的向量

在上一章，我们学习了如何基于空间的概念去判断线性方程组解的存在性，以及具体如何求线性方程组的解。对于一个方程组而言，有解固然可喜，无解之时，路又在何方？其实，由于一些实际原因，无解的问题在实际工程中往往更为普遍。没有精确解，我们该如何处理？我们在本节的一开始就会抛出这个问题，让大家一起思考解决的方法。

其实从直觉出发，我们会想，既然没有精确解，那我们是不是应该去寻找距离目标最近的近似解，这个思考方向无疑是正确的。那么问题就来了，空间中如何定义距离？又该怎么衡量最近？在这一小节中，我们会从最简单的一维直线入手，探讨对于空间中的任意目标点，如何在直线上寻找与之距离最近的点，并最终将问题和解决方法拓展到任意的空间的子空间上。

3.1.1两个需要近似处理的问题

在开始整个全新一章内容之前，我们先抛出两个问题，作为近似与拟合专题的切入点，也请各位读者一起思考一下：

第一个问题依然是关于线性方程组解的问题。

在上一章的最后一节里，我们从空间映射的角度入手，详细分析了线性方程组的解问题，阐述了在何种情况下有解，并且如何来描述整个解的空间。那么接下来，我们再看看下面这个方程组：

我们动手去解一下这个方程组，会发现这个方程组没有解，无解的原因是因为向量不在矩阵的列空间中。但是，我们不能仅仅只停留在这里，满足于无解这个基本结论。

因为，在实际的工程领域中会经常出现这种情况，那么该如何去解决？换句话说，在没有精确解的情况下我们如何尽可能的找到一组近似解，使得方程组左侧得到的结果离右侧的目标尽可能距离最近？至于说这个距离该如何定义，又该如何去衡量远近？这是我们本章后续要讨论的重点内容。

第二个问题是关于直线拟合的问题。

我们知道，如果在平面上任取两个点，一定能够找到一条通过他们的直线。但是如果有三个点、四个点甚至更多呢，还能保证一定能够找到一条直线同时穿过他们吗？比如下面这种情况：

我们在平面上选取三个点，他们的坐标分别是：(0,1)，(1,4) 和 (2,3) ，试问我们能找到一条直线同时通过这三个点么？答案是不行。那么该如何解决？类比上面的问题一，当没有完全精确的解决方案时，能否退而求其次找到一个最接近的方案？即，能否找到一条直线，距离这三个点的距离最近？

3.1.2从投影的角度谈“最近”

在上面所提到的两个例子中，我们的确都没有办法获取准确的解。于是我们退而求其次，希望能够找到距离结果最近的近似解来解决问题。那么，我们该如何定义和描述这个“距离最近”呢？

我们先来看下面这个问题：

在空间当中有一条穿过原点的直线，并且这条直线沿着向量a的方向。在空间中还有一个点b，不过他不在这条直线上，那么如何在这条直线上找到一个点，使得这个点距离点b最近？

这个问题大家可能会觉得很简单，解决方法当然是通过点b向已知直线做一条垂线，这样就能获得我们想要的最短距离，其中我们要寻找的点就是垂线与直线的交点，如图3.1所示。

图3.1  寻找距离直线最近的距离

在图3.1中，我们发现向量b和向量a的夹角是，因此，通过b点到直线的最近距离可以表示为。还需要注意到向量p，他是从原点出发到垂直交点的向量，是向量b在向量a上的投影。而对于向量，我们称之为误差向量，他的长度就是我们要寻找的最近距离。

当然我们也可以用向量点积的方式得到投影向量p的长度，然后再进一步通过代数运算的方法得到向量p的坐标表示。这当然是没有问题的。但是，不知道大家想过没有，这里谈的是直线的情况，一维空间的计算是非常简单的，如果我们进一步对问题进行拓展，去讨论向量在二维平面、三维空间甚至是更高维空间中的投影问题，依靠这种方法就不太合适。所以，我们在这里需要借助矩阵工具来描述这个投影的过程，需要一种通用的计算方法。

3.1.3用矩阵描述向一维直线的投影

我们接着说，首先需要分析如何利用矩阵描述向量b向一条直线上进行投影的过程。我们将向量a作为这条直线的基向量，那么向量p就可以用向量a来进行表示，我们记作：(是一个标量)，我们接下来的目标就是去求取标量系数