回归分析常数项t值没有显著异于零怎么办_一文详解经典回归分析

在如今机器学习、数据科学、人工智能热潮下，回归分析似乎成了家喻户晓的东西。实际上回归分析自Galton爵士提出以及Pearson和Fisher的理论的加持，经过一百多年的发展，早已成了发现客观规律的有力武器。回归分析的文章已经多得数不胜数了，这篇文章也许会有点不同：我一直力求详细。这篇文章是一文详解t检验的延续，从一元线性回归的理论出发，涉及到回归系数的估计、无偏性的证明、方差的计算、显著性检验和预测，再推广到多元线性回归模型（用矩阵来研究会非常方便）。

从函数到回归模型

早在初中我们就学过一元一次函数：

给定

后，这是一条

确定的直线， 只需要两点就可以确定的直线，给出一个新的

，就可以唯一确定一个落在这条直线上的

。这为我们线性回归的思想打下了基础。我们在等号右边加一个随机扰动项（又叫噪声，noise），就成了一元线性回归模型：

只不过我们更习惯这样的表达：

代表每一个样本点，取的是个体的英文identity的首字母。

要注意的是(1)式不是回归模型，(2)式才是。究其原因在于(1)式代表一条确定的直线，而(2)式含有未知的随机扰动项。只有含随机扰动项的才是回归模型。回归模型与直线的相同点是自变量和因变量都是线性关系，不同点在于前者是不确定的，后者是确定的。

世界纷繁复杂，确定相比不确定简直是小巫见大巫。(2)式是真实的客观规律，但是未知、不可观测的。但我们可以假设要研究的因变量

关于自变量

的条件期望是自变量

的确定的线性关系，即：

假设中的

是未知的，称之为

回归系数。为了检验这个假设，我们要利用样本数据估计出

，将它们的估计值记为

，由此得出的相应的

的估计值为

，这样(3)式变为：

(4)式称为经验回归方程，这是对真实的、不可观测的(2)式的估计。

是

被解释变量(dependent variable)、 响应变量(response)、内生变量，

是

解释变量(independent variable)、外生变量。 但一般

是人为给定的常量，只有

是变量。

(2)、(3)和(4)可以推广到多个解释变量的情形：

基本假定

基本假定是对于随机扰动项

来说的，它有两个基本假定：

1. 零均值、等方差、无自相关（Gauss-Markov假定）

1. 正态分布、相互独立假定

相互独立

其中

未知。

这两个基本假定是不一样的。

由于

都是常数，那么

也是正态变量：

这一点在后面的推导中很有用。

一元线性回归模型

这部分我们结合向量来推导。对于

个样本，即

，我们可以将被解释变量、解释变量、回归系数和随机扰动项表示为向量：

其中随机扰动项

满足基本假定，有：

其中

为

阶单位方阵。在解释变量前面添加全1向量形成

设计矩阵(Design Matrix)：

这样模型可改写为：

1.利用最小二乘法估计回归系数并证明存在且唯一

估计回归系数的一种方法是最小二乘法(Least Square Method, LSE)，为了与广义最小二乘法相区别，有人也称之为普通最小二乘(Ordinary Least Square, OLS)。如果回归方程对样本拟合得较好，能较好地反映客观规律，那么真实值

和回归值

的“距离”会较小。对于这个“距离”的定义，我们采用残差平方和：

其中

是残差平方和Sum of Squares for Error的缩写。令

取得最小值的

，就是它们的最小二乘估计（记得要加一个帽子）：

只需要对于

求偏导数并令其为0：

这两式进一步化简：

解方程组（加帽子）：

得到最小二乘估计：

实际上

的表达式可以接着化简（若不加说明，

表示

）：

不妨记：

那么(13)可以写为：

实际上(13)还可以改写为：

或者：

(14)在后面会用到。

有一个问题，这里求偏导数并令其为0得到的是

的极小值点，如何证明它就是函数的最小值点？我们需要考察

关于

的

矩阵：

由于

是对称阵，若它满秩，则它正定，那么

的极小值点就是最小值点，且唯一。而它满秩的充要条件是向量

与全1向量不线性相关。这个条件一般情况下都满足的。

我们定义残差

，从而残差向量：

那么(9)和(10)说明了如下事实：