线性回归模型详解

零、优缺点

优点：

• 建模速度快，不需要很复杂的计算，在数据量大的情况下依然运行速度很快。
• 可以根据系数给出每个变量的理解和解释
• 当特征数量大于样本数量时，表现更好？

缺点：

• 不能很好地拟合非线性数据
• 对异常值敏感？

不用标准化

一、简介

 线性回归模型是一种很常见、很常用的模型，下面我们简单介绍一下。

二、最小二乘估计

2.1 模型

 线性回归模型的表达式为：$$Y=X\beta +\epsilon \text{\hspace{1em}(1)}$$
其中，$Y=(y_1,y_2,\cdots ,y_n{)}^T$, $\beta =({\beta }_0,{\beta }_1,\cdots ,{\beta }_{p-1}{)}^T$, $\epsilon =({\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n{)}^T$为误差项，表示除了自变量外其它因素对$Y$的影响以及试验和测量误差，$X={\left[\begin{array}{cccc}1& x_{11}& \cdots & x_{1,p-1}\\ 1& x_{21}& \cdots & x_{2,p-1}\\ ⋮& ⋮& ⋮& ⋮\\ 1& x_{n1}& \cdots & x_{n,p-1}\end{array}\right]}_{n\times p}$, $n$为样本数。

上述表达式$(1)$也可以展开来写: $$y_i={\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_{p-1}{x}_{i,p-1}+{\epsilon }_i,i=1,2,\cdots ,n\text{\hspace{1em}(2)}$$

模型假设(Gauss-Markov假设)：

1. $E({\epsilon }_i)=0$（无系统性偏差）
2. $Var({\epsilon }_i)={\sigma }^2$（等方差）
3. $Cov({\epsilon }_i,{\epsilon }_j)=0,i\ne j$（不相关）

更严格的假设：${\epsilon }_i\sim N(0,{\sigma }^2),i=1,2,\cdots ,n$，$ϵ\sim N(0,{\sigma }^2{I}_n)$

将Gauss-Markov假设写成矩阵形式，并结合$(1)$即可得到最基本、最重要的线性回归模型: $$Y=X\beta +\epsilon ,E(\epsilon )=0,Cov(\epsilon )={\sigma }^2{I}_n\text{\hspace{1em}(*)}$$

2.2 参数估计(最小二乘法)

 这个方法是找$\beta$的估计，使得偏差向量$Y-X\beta$的长度平方达到最小，即等价于最小化函数$Q(\beta ):$ $$Q(\beta )=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_{i1}-\cdots -{\beta }_{p-1}{x}_{i,p-1}{)}^2:=||Y-X\beta |{|}^2\text{\hspace{1em}(3)}$$

上述式子$(3)$可写为: $$Q=(Y-X\beta {)}^{\top }(Y-X\beta )=Y^{\top }Y-2Y^{\top }X\beta +{\beta }^{\top }{X}^{\top }X\beta \text{\hspace{1em}(4)}$$

对其求导，并令其为0，则可以得到方程组$X^{\top }X\beta =X^{\top }Y$（称为正则方程，有唯一解的充要条件是$X^{\top }X$的秩为$p$，等价的，$X$的秩为$p$），进而可得参数$\beta$的估计为: $$\hat{\beta }=(X^{\top }X{)}^{-1}{X}^{\top }Y\text{\hspace{1em}(5)}$$

当误差项$ϵ\sim N(0,{\sigma }^2{I}_n)$时，最小二乘估计得到的结果和极大似然估计得到的结果相同。

2.3 期望和方差

 在Gauss-Markov假设下，我们可以得到$\hat{\beta }$的期望和方差为：

1. $E[\hat{\beta }]=\beta$
2. $Var[\hat{\beta }]={\sigma }^2(X^{\top }X{)}^{-1}$

证明：
 $E[\hat{\beta }]=E[(X^{\top }X{)}^{-1}{X}^{\top }Y]=(X^{\top }X{)}^{-1}{X}^{\top }E[Y]=(X^{\top }X{)}^{-1}{X}^{\top }(X\beta )=\beta$

 $Var[\hat{\beta }]=Var[(X^{\top }X{)}^{-1}{X}^{\top }Y]=(X^{\top }X{)}^{-1}{X}^{\top }Var(Y)X(X^{\top }X{)}^{-1}={\sigma }^2(X^{\top }X{)}^{-1}$

这个定理的第一条表明最小二乘估计$\hat{\beta }$是$\beta$的无偏估计，也就是说估计没有系统性偏差

2.4 Gauss-Markov定理

对于线性回归模型$\ast$，在$c^{\top }\beta$（$c$为$p\times 1$常数向量）的所有线性无偏估计中，最小二乘估计$c^{\top }\hat{\beta }$是唯一具有最小方差的估计。

证明：
设$a^{\top }Y$是$c^{\top }\beta$的任意一个线性无偏估计，于是有$$c^{\top }\beta =E(a^{\top }Y)=a^{\top }X\beta$$
所以$$a^{\top }X=c^{\top }$$恒成立。

对于最小二乘估计$c^{\top }\hat{\beta }=c^{\top }(X^{\top }X{)}^{-1}{X}^{\top }Y$，由2.3里的性质2可知，$Var(c^{\top }\hat{\beta })={\sigma }^2{c}^{\top }(X^{\top }X{)}^{-1}c$，而$Var(a^{\top }Y)={\sigma }^2{a}^{\top }a$，所以只需证明$$a^{\top }a\ge c^{\top }(X^{\top }X{)}^{-1}c$$即可，结合$a^{\top }X=c^{\top }$，只需证明$$a^{\top }a\ge a^{\top }X(X^{\top }X{)}^{-1}{X}^{\top }a⟺a^{\top }(I-X(X^{\top }X{)}^{-1}{X}^{\top })a\ge 0$$即可

而$I-X(X^{\top }X{)}^{-1}{X}^{\top }$为对称幂等阵，所以上式恒成立。唯一性也易证。

这个定理说明最小二乘估计$c^{\top }\hat{\beta }$在$c^{\top }\beta$的一切线性无偏估计中是最优的，所以也称$c^{\top }\hat{\beta }$是$c^{\top }\beta$的最佳线性无偏估计。

2.5 误差项的方差的估计

${\sigma }^2$是模型误差项的方差，反映了模型误差以及观测误差的大小，因此估计它是一个重要的问题。

误差项是$\epsilon =({\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n{)}^T$
 
不妨设$\hat{Y}=X\hat{\beta }$，那么残差为$\widehat{ϵ}=Y-\hat{Y}=Y-X\hat{\beta }$，可将其看作是残差向量$Y-X\beta$的一个估计，那么很自然用残差平方和$S_e^2=Q(\hat{\beta })=||Y-\hat{Y}|{|}^2=||\widehat{ϵ}|{|}^2=\sum _{i=1}^n(y_i-x_i^{\top }\hat{\beta }{)}^2$来衡量${\sigma }^2$的大小，越小，说明数据和模型拟合的越好。
 
注意到$\hat{\beta }=(X^{\top }X{)}^{-1}{X}^{\top }Y$，所以$\hat{Y}=X\hat{\beta }=X(X^{\top }X{)}^{-1}{X}^{\top }Y=:PY$，即$P=X(X^{\top }X{)}^{-1}{X}^{\top }$，而且$P$有以下性质：$$P=P^{\top }=P^2$$ $$I_n-P=(I_n-P{)}^{\top }=(I_n-P{)}^2$$

所以此时残差向量可写作：$\widehat{ϵ}=(I_n-P)Y$，残差平方和为: $$S_e^2:=||\widehat{ϵ}|{|}^2=Y^{\top }(I_n-P{)}^{\top }(I_n-P)Y=Y^{\top }(I_n-P)Y\text{\hspace{1em}(6)}$$

结论：${\hat{\sigma }}^2=\frac{S_e^2}{n-p}$是${\sigma }^2$的无偏估计。

证明：$E[S_e^2]=E[Y^{\top }(I_n-P)Y]=E[tr(Y^{\top }(I_n-P)Y)]$
      $=E[tr((I_n-P)Y{Y}^{\top })]=tr((I_n-P)E[Y{Y}^{\top }])$
      $=tr((I_n-P)(Var[Y]+E[Y]E[Y^{\top }]))$
      $=tr((I_n-P)({\sigma }^2{I}_n))+tr((I_n-P)X\beta {\beta }^{\top }{X}^{\top })$
      $={\sigma }^2(n-tr(P))$

 其中，我们用到了$tr(AB)=tr(BA)$, $(I_n-P)X=X-X(X^{\top }X{)}^{-1}{X}^{\top }X=0$

 结合$tr(P)=tr(X(X^{\top }X{)}^{-1}{X}^{\top })=tr(X^{\top }X(X^{\top }X{)}^{-1})=tr(I_p)=p$，所以$E[S_e^2]=(n-p){\sigma }^2$，所以${\hat{\sigma }}^2=\frac{S_e^2}{n-p}$是${\sigma }^2$的无偏估计

2.6 抽样分布定理

对于线性回归模型$\ast$，若进一步假设误差${\epsilon }_i\sim N(0,{\sigma }^2),i=1,2,\cdots ,n$，即$ϵ\sim N(0,{\sigma }^2{I}_n)$，则有如下定理：

1. $\hat{\beta }\sim N(\beta ,{\sigma }^2(X^{\top }X{)}^{-1})$
2. $\frac{(n-p){\hat{\sigma }}^2}{{\sigma }^2}=\frac{S_e^2}{{\sigma }^2}\sim {\chi }^2(n-p)$
3. $\widehat{ϵ}$和$\hat{Y}$独立
4. $S_e^2$或${\hat{\sigma }}^2$与$\hat{\beta }$独立

证明：
结论1比较容易证明。

结论2的思路：
$S_e^2=Y^{\top }(I_n-P)Y=(X\beta +ϵ{)}^{\top }(I_n-P)(X\beta +ϵ):=(X\beta +ϵ{)}^{\top }N(X\beta +ϵ)={ϵ}^{\top }Nϵ$，最后一个等号成立是因为$NX=0$，再结合$ϵ\sim N(0,{\sigma }^2{I}_n)$即可得到。

2.7 回归诊断

我们做的假设是Gauss-Markov假设，但拿到一组数据后，如何判断是否满足Gauss-Markov假设，就需要用到残差分析（残差是误差项的一个估计）详情见回归诊断

2.8 Box-Cox变换

Box-Cox变换是对回归因变量$Y$的如下变换：$$Y^{(\lambda )}=\{\begin{array}{l}\frac{1}{\lambda }(Y^{\lambda }-1)\lambda \ne 0\\ \log Y\lambda =0\end{array}$$
其中$\lambda$是一个待定变换参数，所以它是一个变换族，包括了对数变换$(\lambda =0)$，平方根变换$\lambda =1/2$和倒数变换$\lambda =-1$等常用变换。

我们要确定变换参数$\lambda$，使得$Y^{(\lambda )}$满足$$Y^{(\lambda )}=X\beta +\epsilon ,\epsilon \sim N(0,{\sigma }^{2}I)$$
即我们要求通过因变量的变换，使得变换过的向量$Y^{(\lambda )}$与回归自变量具有线性相依关系，误差也服从正态分布，误差各分量是等方差且相互独立。

用极大似然估计来确定$\lambda$。

因为$Y^{(\lambda )}\sim N(X\beta ,{\sigma }^{2}I)$，所以对固定的$\lambda$，可以得到$\beta$和${\sigma }^2$的似然函数$L(\beta (\lambda ),{\sigma }^2(\lambda ))$，进而可以得到$\beta$和${\sigma }^2$的极大似然估计$$\hat{\beta }(\lambda )=(X^{\top }X{)}^{-1}{X}^{\top }{Y}^{(\lambda )}$$$${\hat{\sigma }}^2(\lambda )=\frac{1}{n}{Y}^{(\lambda )}(I-X(X^{\top }X{)}^{-1}{X}^{\top })Y^{(\lambda )}$$
再带入似然函数$L(\hat{\beta }(\lambda ),{\hat{\sigma }}^2(\lambda ))$，这是关于$\lambda$的一元函数，通过求它的值来确定$\lambda$

2.9 广义最小二乘估计

误差方差不相等时，即$Cov(\epsilon )={\sigma }^2\mathbf{\Sigma }$，所以此时的回归模型为$$Y=X\beta +\epsilon ,E(\epsilon )=0,Cov(\epsilon )={\sigma }^2\mathbf{\Sigma }\text{\hspace{1em}(**)}$$
为了求参数的估计，需要经过适当变换，把它化成前面讨论过的情形。

既然$\mathbf{\Sigma }$时正定阵，所以存在$n\times n$正交阵$\mathbf{P}$使其对角化$$\mathbf{\Sigma }={\mathbf{P}}^{\top }\mathbf{\Lambda }\mathbf{P}$$
其中， Λ = d i a g { λ 1 , ⋯   , λ n } \Lambda=diag\{\lambda_1,\cdots,\lambda_n\} Λ=diag{λ1​,⋯,λn​}，${\lambda }_i$是$\mathbf{\Sigma }$的特征值。

令$Z={\mathbf{\Sigma }}^{-\frac{1}{2}}Y$，$U={\mathbf{\Sigma }}^{-\frac{1}{2}}X$，$e={\mathbf{\Sigma }}^{-\frac{1}{2}}\epsilon$，则$Cov(e)={\sigma }^{2}I$，进而可以得到广义最小二乘估计，也称为Gauss-Markov估计$${\hat{\beta }}^{\ast }=(U^{\top }U{)}^{-1}{U}^{\top }Z=(X^{\top }{\mathbf{\Sigma }}^{-1}X{)}^{-1}{X}^{\top }{\mathbf{\Sigma }}^{-1}Y$$

2.10 复共线性

对于有些大型线性回归问题，最小二乘估计不总是令人满意。例如，有时某些回归系数的估计值的绝对值异常大，有时回归系数的估计值的符号与问题的实际意义相违背等。原因之一是回归自变量之间存在着近似线性关系，称为复共线性。

2.10.1 均方误差

设$\theta$为$p\times 1$未知参数向量，$\tilde{\theta }$是$\theta$的一个估计。定义$\tilde{\theta }$的均方误差为$$MSE(\tilde{\theta })=E||\tilde{\theta }-\theta |{|}^2=E(\tilde{\theta }-\theta {)}^{\top }(\tilde{\theta }-\theta )$$
它度量了估计$\tilde{\theta }$跟未知参数向量$\theta$平均偏离的大小。一个好的估计应该有较小的均方误差。

可以证明，一个估计的均方误差就是由各分量的方差和偏差所决定的，一个好的估计应该由较小的方差和偏差。

2.10.2 复共线性

可以证明，对于最小二乘估计$\hat{\beta }$，$$MSE(\hat{\beta })={\sigma }^2\sum _{i=1}^p\frac{1}{{\lambda }_i}$$
其中，${\lambda }_i$为$X^{\top }X$（$X$已经中心化和标准化）的特征根，所以，如果$X^{\top }X$至少有一个特征根非常小，即非常接近$0$，那么$MSE(\hat{\beta })$就会很大，从均方误差的角度看，这时的最小二乘估计就不是一个好的估计。

而$X^{\top }X$至少有一个特征根非常小意味着$X$的列之间有近似线性关系，有几个非常小的特征根，就有几个复共线关系。

2.10.3 条件数

定义$k=\frac{{\lambda }_1}{{\lambda }_p}$为方阵$X^{\top }X$的条件数，即$X^{\top }X$的最大特征根与最小特征根之比。

一般来说，若$k<100$，则认为复共线性的程度很小；若$100\le k\le 1000$，则认为存在中等强度或较强的复共线性；若$k>1000$，则认为存在严重的复共线性。

2.11 岭估计

当设计阵存在严重的复线性关系时，最小二乘估计并不是一个好的估计，此时可用岭估计，即$$\hat{\beta }(k)=(X^{\top }X+kI{)}^{-1}{X}^{\top }Y$$
其中，$k>0$为可选择参数，称为岭参数或偏参数。

岭估计是有偏估计，以牺牲无偏性，换取方差部分的大幅度减少，最终降低其均方误差。

确定$k$可用$Hoerl-Kennard$公式和岭迹法（即看${\hat{\beta }}_i(k)$在什么时候趋于稳定）。

三、假设检验与预测

3.1 回归系数的显著性检验

对每个自变量逐一做显著性检验，即对固定的$i,1\le i\le p-1$，做如下检验$$H_i:{\beta }_i=0$$

由2.6节可知，$\hat{\beta }\sim N(\beta ,{\sigma }^2(X^{\top }X{)}^{-1})$，不妨令$C=(X^{\top }X{)}^{-1}$，其元素为$c_{ij}$，则有$${\hat{\beta }}_i\sim N({\beta }_i,{\sigma }^2{c}_{ii})$$

所以当$H_i$成立时，有$$\frac{{\hat{\beta }}_i}{\sigma \sqrt{c_{ii}}}\sim N(0,1)$$

• 当${\sigma }^2$已知时，${\beta }_i$的$100(1-\alpha )\%$的置信区间为${\hat{\beta }}_i\pm u_{1-\alpha /2}\sigma \sqrt{c_{i+1,i+1}},i=0,\dots ,p-1$，所以对于假设$H_0:{\beta }_i=0vs.H_1:{\beta }_i\ne 0$，相应的拒绝域为： W = { ∣ β ^ i ∣ > u 1 − α / 2 σ c i + 1 , i + 1 } W = \{|\hat\beta_i|\gt u_{1-\alpha/2}\sigma\sqrt{c_{i+1,i+1}}\} W={∣β^​i​∣>u1−α/2​σci+1,i+1​ ​}
   
   
• 当${\sigma }^2$未知时，可用${\hat{\sigma }}^2=\frac{S_e^2}{n-p}$来估计${\sigma }^2$，而$\frac{S_e^2}{{\sigma }^2}\sim {\chi }^2(n-p)$，且 $S_e^2$与$\hat{\beta }$独立，所以$$t_i=\frac{{\hat{\beta }}_i}{\hat{\sigma }\sqrt{c_{ii}}}\sim t(n-p)$$所以${\beta }_i$的$100(1-\alpha )\%$的置信区间为${\hat{\beta }}_i\pm t_{1-\alpha /2}(n-p)\hat{\sigma }\sqrt{c_{i+1,i+1}},i=0,\dots ,p-1$，所以对于假设$H_0:{\beta }_i=0vs.H_1:{\beta }_i\ne 0$，相应的拒绝域为： W = { ∣ β ^ i ∣ > t 1 − α / 2 ( n − p ) σ ^ c i + 1 , i + 1 } W = \{|\hat\beta_i|\gt t_{1-\alpha/2}(n-p)\hat\sigma\sqrt{c_{i+1,i+1}}\} W={∣β^​i​∣>t1−α/2​(n−p)σ^ci+1,i+1​ ​}

3.2 模型整体的显著性检验

模型整体的显著性检验就是检验模型的自变量中是否至少有一个变量对因变量有重要的可解释性作用，即检验$$H_0:{\beta }_1=\cdots ={\beta }_{p-1}=0vs.H_1:{\beta }_{i^{\ast }}\ne 0\text{ for some }{i}^{\ast }\ge 1$$
如果原假设成立，那么模型的所有自变量对因变量都没有重要的可解释性作用，亦即所有的自变量都不显著；如果原假设不成立，那么至少有一个模型的自变量对因变量有重要的可解释性作用，要想继续探究是哪个自变量，可继续使用上一小节使用的$t-$检验进行检验。

先说明几个定义:

总平方和（总离差平方和）$$S_T^2=\sum _{i=1}^n(y_i-\bar{y}{)}^2$$
回归平方和$$S_R^2=\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2$$
误差平方和（残差平方和）$$S_e^2=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$
它们之间的关系是$S_T^2=S_R^2+S_e^2$，可证明如下：

 $S_T^2=\sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n(y_i-{\hat{y}}_i+{\hat{y}}_i-\bar{y}{)}^2$
   $=\sum _{i=1}^n[(y_i-{\hat{y}}_i{)}^2+({\hat{y}}_i-\bar{y}{)}^2+2(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})]$
   $=S_R^2+S_e^2+2\sum _{i=1}^n(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})$

而$\sum _{i=1}^n(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})={\widehat{ϵ}}^{\top }\hat{Y}-\bar{Y}\sum _{i=1}^n{\widehat{ϵ}}_i$
 $=[(I_n-P)Y{]}^{\top }PY-\bar{Y}(1,1,\dots ,1)(I_n-P)Y$
 $=Y^{\top }(I_n-P)PY-\bar{Y}[(1,1,\dots ,1)-(1,1,\dots ,1)P]Y$
 $=0.$

 
结论：在模型的假设$ϵ\sim N(0,{\sigma }^2{I}_n)$下，$S_R^2,S_e^2,\bar{y}$相互独立，而且在原假设$H_0:{\beta }_1=\cdots ={\beta }_{p-1}=0$成立的前提下，$S_R^2/{\sigma }^2\sim {\chi }^2(p-1)$

 
下面我们用广义似然比假设检验进行检验。

我们的模型为$Y=X\beta +\epsilon$，根据我们模型的假设$ϵ\sim N(0,{\sigma }^2{I}_n)$，我们可以知道$Y\sim N(X\beta ,{\sigma }^2{I}_n)$，所以$Y$的似然方程为$L(\beta ,{\sigma }^2)=(2\pi {\sigma }^2{)}^{-n/2}{e}^{-\frac{||Y-X\beta |{|}^2}{2{\sigma }^2}}$。
 
在全假设下，即 Θ = { ( β , σ 2 ) ∣ β ∈ R p , σ 2 > 0 } \Theta=\{(\beta,\sigma^2)|\beta\in \mathbb{R}^p,\sigma^2\gt0\} Θ={(β,σ2)∣β∈Rp,σ2>0}，使似然方程$L(\beta ,{\sigma }^2)$最大化的参数为$\hat{\beta }=(X^{\top }X{)}^{-1}{X}^{\top }Y,{\hat{\sigma }}^2=\frac{||Y-X\hat{\beta }||}{n}=\frac{S_e^2}{n}$。
 
在原假设下，即 Θ 0 = { ( β , σ 2 ) ∣ β i = 0 , i ≥ 1 , σ 2 > 0 } \Theta_0=\{(\beta,\sigma^2)|\beta_i=0,i\ge 1,\sigma^2\gt0\} Θ0​={(β,σ2)∣βi​=0,i≥1,σ2>0}，使似然方程$L(\beta ,{\sigma }^2)$最大化的参数为${\hat{\beta }}^{\ast }=(\bar{Y},0,\dots ,0{)}^{\top },{\hat{\sigma }}^{\ast 2}=\frac{||Y-X{\hat{\beta }}^{\ast }||}{n}=\frac{S_T^2}{n}$
 
所以似然比统计量为:$$\lambda =\frac{{\sup }_{\theta \in \Theta }L(\beta ,{\sigma }^2)}{{\sup }_{\theta \in {\Theta }_0}L(\beta ,{\sigma }^2)}=\frac{L(\hat{\beta },{\hat{\sigma }}^2)}{L({\hat{\beta }}^{\ast },{\hat{\sigma }}^{\ast 2})}={\left(\frac{S_T^2}{S_e^2}\right)}^{n/2}={\left(1+\frac{S_R^2}{S_e^2}\right)}^{n/2}\text{\hspace{1em}(7)}$$
 
根据我们以上的结论，原假设成立时，$S_R^2/{\sigma }^2\sim {\chi }^2(p-1)$，$\frac{(n-p){\hat{\sigma }}^2}{{\sigma }^2}=\frac{S_e^2}{{\sigma }^2}\sim {\chi }^2(n-p)$，所以$F=\frac{S_R^2/(p-1)}{S_e^2/(n-p)}\sim F(p-1,n-p)$。所以我们把$F$作为检验统计量，拒绝域为 W = { F > C } W=\{F\gt C\} W={F>C}，$C=F_{1-\alpha }(p-1,n-p)$，$\underset{\theta \in {\Theta }_0}{\sup }{P}_{\theta }(F>C)=\alpha$。

进而可以得到方差分析表。

3.3 模型优度

定义判决系数为$R^2=\frac{S_R^2}{S_T^2}=1-\frac{S_e^2}{S_T^2}$，一般认为$R^2$越大，模型越好。但注意到，回归变量越多，残差平方和$S_e^2$越小，$R^2$自然变大。所以用$R^2$衡量模型拟合程度显然不合适，没有考虑过度拟合的情况。另一方面，随机项的方差的估计${\hat{\sigma }}^2=S_e^2/(n-p)$并不一定随着$S_e^2$越小而变小，因为变量个数$p$变大，该估计量的分母变小。
 
于是，有人提出对$R^2$进行调整，调整的决定系数(adjusted R-squared)为${\tilde{R}}^2=1-\frac{S_e^2/(n-p)}{S_T^2/(n-1)}=1-\frac{(n-1)S_e^2}{(n-p)S_T^2}$。不难看出${\tilde{R}}^2<R^2$，这是因为$p>1$， 调整的决定系数${\tilde{R}}^2$综合考虑了模型变量个数$p$的影响。

3.4 预测

先说明一下置信区间与预测区间的区别：
置信区间：利用估计的回归方程，对于自变量$x$的一个给定值$x_0$，求出因变量$y$的平均值的估计区间。
 
预测区间：利用估计的回归方程，对于自变量$x$的一个给定值$x_0$，求出因变量$y$的一个个别值的估计区间。
 
而且，预测区间的范围总是要比置信区间的范围要大的。就是说，给定一个$x$，估计对应$y$的平均值平均值比估计一个个别值更精确一点。其实也好理解，估计平均值比估计个别值貌似更简单一点嘛。个别值更容易受一些外界因素影响而有差异性，而平均值则相对稳定些。
 
 $E[y_{n+1}]$的置信区间：
 
 考虑到$y_{n+1}={\beta }_0+{\beta }_1{x}_{n+1,1}+\cdots +{\beta }_{p-1}{x}_{n+1,p-1}+{ϵ}_{n+1}$，而在模型$ϵ\sim N(0,{\sigma }^2{I}_n)$的假设下，可以知道$y_{n+1}=v^{\top }\beta +{ϵ}_{n+1}\sim N(v^{\top }\beta ,{\sigma }^2)$，其中，$v=(1,x_{n+1,1},x_{n+1,2},\dots ,x_{n+1,p-1}{)}^{\top }$。
 
 所以$E[y_{n+1}]=v^{\top }\beta$的无偏估计为${\hat{y}}_{n+1}=v^{\top }\hat{\beta }\sim N(v^{\top }\beta ,{\sigma }^2{v}^{\top }(X^{\top }X{)}^{-1}v)$，而根据$2.5$节的几个结论，可以知道，$\frac{{\hat{y}}_{n+1}-v^{\top }\beta }{\hat{\sigma }\sqrt{v^{\top }(X^{\top }X{)}^{-1}v}}\sim t(n-p)$。所以$E[y_{n+1}]$的$100(1-\alpha )\%$置信区间为: $${\hat{y}}_{n+1}\pm t_{1-\alpha /2}(n-p)\hat{\sigma }\sqrt{v^{\top }(X^{\top }X{)}^{-1}v}\text{\hspace{1em}(8)}$$

 $y_{n+1}$的预测区间：
 
 同样的，可以得到$\frac{y_{n+1}-{\hat{y}}_{n+1}}{\hat{\sigma }\sqrt{1+v^{\top }(X^{\top }X{)}^{-1}v}}\sim t(n-p)$，所以$y_{n+1}$的$100(1-\alpha )\%$预测区间为: $${\hat{y}}_{n+1}\pm t_{1-\alpha /2}(n-p)\hat{\sigma }\sqrt{1+v^{\top }(X^{\top }X{)}^{-1}v}\text{\hspace{1em}(9)}$$

参考：

1. 什么是预测区间和置信区间
2. 数理统计讲义