关于线性回归那些事儿

1. 如何理解线性回归中的方差齐性？

在两组和多组比较中，每组都有很多数据，可以求出每组的方差，然后比较就行了，很容易理解。但是在线性回归中，有的人就不理解方差齐性是什么意思了。因为线性回归中自变量x不是分类变量，x取值很多，通常情况下，每个x值只对应1个y值。比如，分析身高对血压值的影响，可能每个身高对应的血压值只有一个数值。很显然，对于1个数是没有办法计算方差的，那还何来方差齐性检验呢？

这是因为，尽管在一次抽样中每个x取值上可能只有1个y值，但对于总体而言，理论上每个x取值上对应的y值是有很多的。
所以，线性回归中，理论上也是有方差的。然而这种理论上的方差，除非你知道总体中每个x取值上的所有对应的y值，否则你是没有办法真正去计算方差的。但这种情况几乎是不可能发生的，因此在线性回归中的方差齐性检验，很多情况下只是一种探测而已。

既然线性回归无法做到对每一个x取值上的y值计算方差，那我们可以放宽一下，可以简单地看某一x取值范围内的y值的方差，这是可以做到的。所以实际中我们经常通过线性回归的残差图来判断方差齐性，即以因变量残差作为纵坐标，以某自变量作为横坐标，绘制散点图。如下图所示。如果残差总的来说时随机分布的，没有随着自变量的增加而有其它趋势，基本就可以认为方差齐性。

当然残差图只是观察一下，如果想用统计学方法来验证是否有趋势的话，那很自然的一个想法就是，分析具体某一自变量与残差有没有关系就可以了。这也就是**BP（Breusch-Pagan）法和White检验**进行方差齐性检验的思想。即以残差为因变量，观察自变量与残差之间是否存在线性关系（BP法）或非线性关系（White检验）。如果存在，提示可能存在方差不齐。BP检验和White检验是较为常用的两种方差齐性检验的方法。

2. 多重线