大家好!我又出现了(*^__^*) 嘻嘻。刚结束PDE考试(不可避免的凉凉)我就赶紧过来完成了这一篇文章。
这一节我们会结束多元线性回归的内容,并且会努力结束下一个部分——违背基本假设的情况的相关内容。
提供之前的笔记:
我们开始本节的内容。
目录多元线性回归(下)偏回归平方和
部分系数显著性检验
违背基本假设的情况异方差性异方差性检验
异方差性问题处理方法一元加权最小二乘估计
多元加权最小二乘估计
自相关性自相关系数法
DW检验
自相关性问题的处理方法迭代法
差分法
异常值与强影响点关于自变量
异常删除残差
关于自变量
异常,强影响点强影响点的判定
库克距离
Box-Cox变换
多元线性回归(下)
偏回归平方和
这一个概念其实是拟合优度里的内容,单独拉出来说的原因是它在理论上还有很多其余的重要的知识内容。
我们在上一节中说过,偏相关系数是一个不错的衡量回归系数显著性的指标。但是有没有发现我们有说过对方程做显著性检验,也有说过对每个系数做显著性检验,却好像没有说过对部分系数做显著性检验。这就是偏回归平方和可以用到的地方。事实上,它和偏相关系数差别也不大。
首先我们给出它的定义。Definition 1: Sum of squares of partial regression
称为自变量
的偏回归平方和,其中
表示在原本p个变量中剔除
后的剩下p-1个变量的回归出的残差平方和。
类似定义。
现在我们用它的思想来解决这个问题。
部分系数显著性检验
我们设
。那么我们的目的是构造两个平方和的差,这样才有可能分离出部分变量的
等,进而进行假设检验。
因为
(
为帽子矩阵),而这个
是由自变量的集合决定的。所以我们如果要构造只包含自变量集合
的残差平方和,只需要设
即可。
为了尊重Prof,我们遵守原来的标记,设
(这个命名在《数值线性代数》里用的比较多,因为它们都是投影(projector)矩阵),那么容易得到
回想一下上一节我们怎么进行方程的显著性检验的?对,关键的问题就是要研究统计量矩阵表示中,最中间的那个矩阵。如果我们说明了它是二次型,就可以使用
分布相关的知识。所以我们需要看看
到底是个啥。
首先我们要计算
,在第四节中,我们计算过,这里我们直接用那里的公式。
其中
因为计算
还需要之前加一个
,之后加一个
。所以把
按照之前的规则分块,写开乘上
的第一个部分,就是
,而第二项乘完相当于
(注意
为对称阵),所以加在一起我们容易得到最后的结果
下面我们试试看,能不能证明这是一个对称幂等阵,如果证明出来了,就说明这是一个二次型,就可以说明它服从一个
分布了。
先试着把它平方一下看看
所以我们关键要看
分别是什么。事实上,你只需要注意到
它左右都有一个
,而这个矩阵无论是左乘
,还是右乘,都能让矩阵变为0。所以我们事实上就证明了
,也就自然说明了对称幂等。
现在,我们根据第五节的内容就可以得到 ,
,
。
将
分块就可以得到上面的结果。
使用和上一节一样的分析思路,代入原假设的条件,看看非中心化参数是不是为0。有没有发现在
的时候,确确实实
服从一个中心
分布,这也一定程度上说明了我们确实通过分离出
的残差平方和实现了构造分布所需要的统计量。还有一个统计量&#