参数估计不能直接解方程组吗？

记一次饥饿状态下（23h未进食）的脑子不够用 

一、源起

这个问题属实有一些离谱，就好像学了高数反而问1+1为什么等于2。

我是在学习多元线性回归模型的过程中，看到最小样本容量的解释，又看到“参数的统计检验要求样本容量必须足够大”，产生了困惑。

一方面样本容量不能少于模型中解释变量的数目，这个我可以理解，否则方程数小于未知数的个数，有无数的解。另一方面，样本容量应该足够大，这样模型才能满足估计的基本要求。我突然就在思考，如果方程的个数大于未知数的个数，在列满秩的情况下，要么无解，要么有唯一解，为什么要提供超过未知数个数的方程呢？

接下来继续思考，参数估计的时候为什么要用最小二乘法，难道不能直接解方程组吗？如果解释变量（含常数项）有K个，那么K个样本就能解出所有参数了呀？

这个问题震惊到我了，多元的不够直观，我开始思考一元线性回归。加上常数项，有两个解释变量，那么不是两个样本就确定了这条直线？那要那么多样本干什么？

然后我终于想到了上面这两个图。两点固然可以确定一条直线，但如果有大量样本，随机从里面选两个点确定的这条直线不一定对其他样本点适用。我现在并不是要解方程组，而是用样本估计总体，我要从一堆样本中，找到最适合总体的那条线。

对于总体来说，每一个样本都会产生一个残差值，如果一定要按照解方程组的思路来看，每个样本都自带一个新的未知数，所以我不可能用n个方程解出n+k个未知数。

这个问题到此就结束了，我会产生困惑大概就是脑子不够用，在看到最小样本容量的解释时，里面涉及到秩的概念，我的脑子一下子切换到了线性代数，忘记了计量的大背景，忘记了我是要用样本来估计总体。

二、后续

前面思考到两点确定一条直线后，两个方程解两个未知数，这很正确。我还发散思维到三个未知数的情况，脑子又抽了，我觉得就算在三维空间，两点还是确定一条直线呀，两个样本点难不成能解三个未知数？甚至考虑到两个点的坐标都是三维向量，那么两两维度组合有三种，不就正好转换到三个平面分别求三个斜率（错误以为未知数=斜率）了吗？但这明显和线性代数的知识不符呀？

吃过饭之后，我终于意识到，所谓多元线性回归并不是求一条线。二维情况是一条线，在三维空间中，所求的是面（观测值变化假设下）。直观上我总觉得线性组合后还是一条线，但单从AX+BY+CZ+D=0表示平面来看，就否定了这种直观。还有超平面的交集不一定是一条线，相交会降维，最少降一维，所以四维超平面的交集可能是三维的面，所以很多时候线性并不代表是一条线，而是其他维度不变时，该维度对于被解释变量的影响是线性的罢了。