记一次饥饿状态下(23h未进食)的脑子不够用
一、源起
这个问题属实有一些离谱,就好像学了高数反而问1+1为什么等于2。
我是在学习多元线性回归模型的过程中,看到最小样本容量的解释,又看到“参数的统计检验要求样本容量必须足够大”,产生了困惑。
一方面样本容量不能少于模型中解释变量的数目,这个我可以理解,否则方程数小于未知数的个数,有无数的解。另一方面,样本容量应该足够大,这样模型才能满足估计的基本要求。我突然就在思考,如果方程的个数大于未知数的个数,在列满秩的情况下,要么无解,要么有唯一解,为什么要提供超过未知数个数的方程呢?
接下来继续思考,参数估计的时候为什么要用最小二乘法,难道不能直接解方程组吗?如果解释变量(含常数项)有K个,那么K个样本就能解出所有参数了呀?
这个问题震惊到我了,多元的不够直观,我开始思考一元线性回归。加上常数项,有两个解释变量,那么不是两个样本就确定了这条直线?那要那么多样本干什么?
然后我终于想到了上面这两个图。两点固然可以确定一条直线,但如果有大量样本,随机从里面选两个点确定的这条直线不一定对其他样本点适用。我现在并不是要解方程组,而是用样本估计总体,我要从一堆样本中,找到最适合总体的那条线。
对于总体来说,每一个样本都会产生一个残差值,如果一定要按照解方程组的思路来看,每个样本都自带一个新的未知数,所以我不可能用n个方程解出n+k个未知数。
这个问题到此就结束了,我会产生困惑大概就是脑子不够用,在看到最小样本容量的解释时,里面涉及到秩的概念,我的脑子一下子切换到了线性代数,忘记了计量的大背景,忘记了我是要用样本来估计总体。
二、后续
前面思考到两点确定一条直线后,两个方程解两个未知数,这很正确。我还发散思维到三个未知数的情况,脑子又抽了,我觉得就算在三维空间,两点还是确定一条直线呀,两个样本点难不成能解三个未知数?甚至考虑到两个点的坐标都是三维向量,那么两两维度组合有三种,不就正好转换到三个平面分别求三个斜率(错误以为未知数=斜率)了吗?但这明显和线性代数的知识不符呀?
吃过饭之后,我终于意识到,所谓多元线性回归并不是求一条线。二维情况是一条线,在三维空间中,所求的是面(观测值变化假设下)。直观上我总觉得线性组合后还是一条线,但单从AX+BY+CZ+D=0表示平面来看,就否定了这种直观。还有超平面的交集不一定是一条线,相交会降维,最少降一维,所以四维超平面的交集可能是三维的面,所以很多时候线性并不代表是一条线,而是其他维度不变时,该维度对于被解释变量的影响是线性的罢了。