多元线性回归

模型

随机变量$y$与一般变量$x_1,x_2,...,x_p$有如下关系$$y=b_0+x_1{b}_1+x_2{b}_2+...+x_p{b}_p+ϵ$$一般有$n$组观测数据，回归模型可表示为$$y_i=b_0+x_{i1}{b}_1+x_{i2}{b}_2+...+x_{ip}{b}_p+{ϵ}_i,i=1,2,...,n$$写成矩阵形式为$$\mathbf{y}=\mathbf{Xb}+\mathbf{ϵ}\text{\hspace{1em}(1)}$$其中$\mathbf{y}=[y_1,y_2,...,y_n{]}^{\mathrm{T}},\mathbf{b}=[b_0,b_1,b_2,...,b_p{]}^{\mathrm{T}},\mathbf{ϵ}=[{ϵ}_1,{ϵ}_2,...,{ϵ}_n{]}^{\mathrm{T}},\mathbf{X}=[{\mathbf{x}}_0,{\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{p}}]$，这里，${\mathbf{x}}_0=1=[1,1,...,1{]}_n^{\mathrm{T}},{\mathbf{x}}_{\mathbf{j}}=[x_{1j},x_{2j},...,x_{nj}{]}^{\mathrm{T}}(j=1,2,...,n)$

基本假定

1. $\mathbf{ϵ}\sim N(0,{\sigma }^2{\mathbf{I}}_n)$，即$E(\mathbf{ϵ})=0，var(\mathbf{ϵ})={\sigma }^2{\mathbf{I}}_n$
2. ${\mathbf{x}}_0,{\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{p}}$线性无关，即$rank(\mathbf{X})=p+1$

由1可得出，$E(\mathbf{y})=\mathbf{Xb}+E(\mathbf{ϵ})=\mathbf{Xb},var(\mathbf{y})=E(\mathbf{y}-E(\mathbf{y}))(\mathbf{y}-E(\mathbf{y}){)}^{\mathrm{T}}=E(\mathbf{ϵ}{\mathbf{ϵ}}^{\mathrm{T}})={\sigma }^2{\mathbf{I}}_n$
由2可知，对于幂等矩阵$\mathbf{H}=\mathbf{X}({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}，rank(\mathbf{H})=p+1$

参数估计

使用最小二乘法可得到$\mathbf{b}$的估计值$$\hat{\mathbf{b}}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}\text{\hspace{1em}(2)}$$因为$\mathbf{y}=\mathbf{Xb}+\mathbf{ϵ}$，那么$$\hat{\mathbf{b}}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}(\mathbf{Xb}+\mathbf{ϵ})=\mathbf{b}+({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{ϵ}$$即$$\hat{\mathbf{b}}=\mathbf{b}+({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{ϵ}\text{\hspace{1em}(3)}$$
因此，$$E(\hat{\mathbf{b}})=\mathbf{b}\text{\hspace{1em}(4)}$$$$var(\hat{\mathbf{b}})=E(({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{ϵ}{\mathbf{ϵ}}^{\mathrm{T}}\mathbf{X}({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1})={\sigma }^2({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}\text{\hspace{1em}(5)}$$
另一方面，$$\hat{\mathbf{y}}=\mathbf{X}\hat{\mathbf{b}}=\mathbf{X}({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}=\mathbf{H}\mathbf{y}\text{\hspace{1em}(6)}$$$$\hat{\mathbf{y}}=\mathbf{X}\hat{\mathbf{b}}=\mathbf{X}\mathbf{b}+\mathbf{H}\mathbf{ϵ}\text{\hspace{1em}(7)}$$$$E(\hat{\mathbf{y}})=\mathbf{X}\mathbf{b}=E(\mathbf{y})\text{\hspace{1em}(8)}$$$$var(\hat{\mathbf{y}})=E(\mathbf{H}\mathbf{ϵ}{\mathbf{ϵ}}^{\mathrm{T}}\mathbf{H})={\sigma }^2\mathbf{H}\text{\hspace{1em}(9)}$$

性质

1. 均值 $\overline{y}=\frac{1}{n}\sum _{i=1}^n{y}_i=\frac{1}{n}{1}^{\mathrm{T}}\mathbf{y}=\frac{1}{n}\sum _{i=1}^n{\hat{y}}_i=\frac{1}{n}{1}^{\mathrm{T}}\hat{\mathbf{y}}$
2. 总离差平方和$SST=\sum _{i=1}^n(y_i-\overline{y}{)}^2=(\mathbf{y}-\overline{\mathbf{y}}{)}^{\mathrm{T}}(\mathbf{y}-\overline{\mathbf{y}})={\mathbf{y}}^{\mathrm{T}}\mathbf{y}-{\overline{\mathbf{y}}}^{\mathrm{T}}\overline{\mathbf{y}}$
   回归平方和$SSR=\sum _{i=1}^n({\hat{y}}_i-\overline{y}{)}^2=(\hat{\mathbf{y}}-\overline{\mathbf{y}}{)}^{\mathrm{T}}(\hat{\mathbf{y}}-\overline{\mathbf{y}})={\hat{\mathbf{y}}}^{\mathrm{T}}\hat{\mathbf{y}}-{\overline{\mathbf{y}}}^{\mathrm{T}}\overline{\mathbf{y}}={\mathbf{y}}^{\mathrm{T}}\mathbf{H}\mathbf{y}-{\overline{\mathbf{y}}}^{\mathrm{T}}\overline{\mathbf{y}}$
   残差平方和$SSE=\sum _{i=1}^n(y_i-\hat{y}{)}^2=(\mathbf{y}-\hat{\mathbf{y}}{)}^{\mathrm{T}}(\mathbf{y}-\hat{\mathbf{y}})={\mathbf{y}}^{\mathrm{T}}(\mathbf{I}-\mathbf{H})\mathbf{y}={\mathbf{y}}^{\mathrm{T}}\mathbf{y}-{\mathbf{y}}^{\mathrm{T}}\mathbf{H}\mathbf{y}$
   因此$SSE+SSR=SST$
3. $SSE/(n-p-1)$为方差${\sigma }^2$的无偏估计
   证：由公式（1）（7）可知$$\mathbf{y}-\hat{\mathbf{y}}=\mathbf{X}\mathbf{b}+\mathbf{ϵ}-(\mathbf{X}\mathbf{b}+\mathbf{H}\mathbf{ϵ})=(\mathbf{I}-\mathbf{H})\mathbf{ϵ}\text{\hspace{1em}(10)}$$
   那么$$SSE={\mathbf{ϵ}}^{\mathrm{T}}(\mathbf{I}-\mathbf{H})(\mathbf{I}-\mathbf{H})\mathbf{ϵ}={\mathbf{ϵ}}^{\mathrm{T}}\mathbf{ϵ}-{\mathbf{ϵ}}^{\mathrm{T}}\mathbf{H}\mathbf{ϵ}=\sum _{i=1}^n{ϵ}_i^2-\sum _{i=1}^n\sum _{j=1}^n{h}_{ij}{ϵ}_i{ϵ}_j\text{\hspace{1em}(11)}$$这里$h_{ij}$为$\mathbf{H}$的元素.由假定1可得，$E({ϵ}_i^2)={\sigma }^2,E({ϵ}_i{ϵ}_j)=0(i\ne j)$,因此$$E(SSE)=E(\sum _{i=1}^n{ϵ}_i^2)-E(\sum _{i=1}^n\sum _{j=1}^n{h}_{ij}{ϵ}_i{ϵ}_j)=n{\sigma }^2-\sum _{i=1}^n{h}_{ii}E({ϵ}_i^2)=(n-trace(\mathbf{H})){\sigma }^2$$幂等矩阵的秩和迹相等，即$trace(\mathbf{H})=rank(\mathbf{H})=p+1$，那么$$E(SSE)=(n-p-1){\sigma }^2$$该性质得证。
4. $SSE/{\sigma }^2\sim {\chi }^2(n-p-1)$
   证：由公式（11）$$SSE={\mathbf{ϵ}}^{\mathrm{T}}\mathbf{ϵ}-{\mathbf{ϵ}}^{\mathrm{T}}\mathbf{H}\mathbf{ϵ}$$$\mathbf{H}$对称，因此含有$n$个特征值和$n$个线性无关的特征向量。$\mathbf{H}$幂等，特征值只可能为1和0，其中1的重数为$rank(\mathbf{H})=p+1$。又因为$\mathbf{H}=\mathbf{X}({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}$而言，得到$$\mathbf{H}\mathbf{X}=\mathbf{X}$$也就是说$\mathbf{X}$的列向量${\mathbf{x}}_0,{\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{p}}$就是$\mathbf{H}$特征值为1的$p+1$线性无关的特征向量，可通过施密特正交法得到特征值1的$p+1$个标准正交向量${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}+1}$(这里下标往后错一位)，其中${\mathbf{a}}_1=\frac{{\mathbf{x}}_0}{|{\mathbf{x}}_0|}=[\frac{1}{\sqrt{n}},\frac{1}{\sqrt{n}},...,\frac{1}{\sqrt{n}}{]}_n^{\mathrm{T}}$。对于特征值0，可求出$n-p-1$个标准正交特征向量${\mathbf{a}}_{\mathbf{p}+2},{\mathbf{a}}_{\mathbf{p}+2},...,{\mathbf{a}}_{\mathbf{n}}$,令$\mathbf{A}=[{\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{n}}]$，那么，$\mathbf{H}$可对角化为$${\mathbf{A}}^{\mathrm{T}}\mathbf{H}\mathbf{A}=\Lambda =\left[\begin{array}{ccccccc}1& & & & & & \\ & 1& & & & & \\ & & \ddots & & & & \\ & & & 1& & & \\ & & & & 0& & \\ & & & & & \ddots & \\ & & & & & & 0\end{array}\right]$$
   其中$\Lambda$有$p+1$个1和$n-p-1$个0
   因此，令$$\mathbf{\eta }=[{\eta }_1,{\eta }_2,...,{\eta }_n{]}^{\mathrm{T}}={\mathbf{A}}^{\mathrm{T}}\mathbf{ϵ}\text{\hspace{1em}(12)}$$容易证明${\eta }_2,{\eta }_3,...,{\eta }_{n}i.i.d\sim N(0,{\sigma }^2)$,可得$$SSE={\mathbf{ϵ}}^{\mathrm{T}}\mathbf{ϵ}-{\mathbf{ϵ}}^{\mathrm{T}}\mathbf{H}\mathbf{ϵ}={\mathbf{\eta }}^{\mathrm{T}}\mathbf{\eta }-{\mathbf{\eta }}^{\mathrm{T}}{\mathbf{A}}^{\mathrm{T}}\mathbf{H}\mathbf{A}\mathbf{\eta }={\mathbf{\eta }}^{\mathrm{T}}\mathbf{\eta }-{\mathbf{\eta }}^{\mathrm{T}}\Lambda \mathbf{\eta }=\sum _{i=1}^n{\eta }_i^2-\sum _{i=1}^{p+1}{\eta }_i^2=\sum _{i=p+2}^n{\eta }_i^2$$那么$$SSE/{\sigma }^2=\sum _{i=p+2}^n({\eta }_i/\sigma {)}^2\sim {\chi }^2(n-p-1)$$

假设检验和区间估计

1. t检验
   原假设$H_0:b_i=0，i=1,2,...,p$
   备择假设$H_1:b_i\ne 0$

在原假设条件下，由公式（4）（5）可得，$E({\hat{b}}_i)=b_i=0,var({\hat{b}}_i)={\sigma }^2{c}_{ii},c_{ii}$为$({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}$的元素（行列指标从0开始标到p，如果指标仍然从1开始标到p+1，那么应为$c_{i+1,i+i}$，主要原因是在线性回归中系数$b$的下标通常从0开始，与性质4中下标错一位是一个意思）
那么$$\frac{{\hat{b}}_i}{\sigma \sqrt{c_{ii}}}\sim N(0,1)$$由性质（4）$$\frac{SSE}{{\sigma }^2}\sim {\chi }^2(n-p-1)$$因此$$\frac{{\hat{b}}_i/\sigma \sqrt{c_{ii}}}{\sqrt{\frac{SSE}{{\sigma }^2}/(n-p-1)}}=\frac{{\hat{b}}_i/\sqrt{c_{ii}}}{\sqrt{SSE/(n-p-1)}}\sim t(n-p-1)$$可进行假设检验，如果对进行$b$区间估计，则采用$$\frac{({\hat{b}}_i-b_i)/\sqrt{c_{ii}}}{\sqrt{SSE/(n-p-1)}}\sim t(n-p-1)$$来进行估计。
2. F检验
原假设$H_0:b_1=b_2=...=b_p=0$
备择假设$H_1:b_1,b_2,...,b_p$不全为0
在原假设条件下，$$\mathbf{y}=\mathbf{Xb}+\mathbf{ϵ}=\mathbf{y}=\left[\begin{array}{cc}1& {\mathbf{X}}_{\mathbf{p}}\end{array}\right]\left[\begin{array}{c}{b}_0\\ 0\end{array}\right]+\mathbf{ϵ}=b_{0}1+\mathbf{ϵ}$$$$\hat{\mathbf{y}}=b_{0}1+\mathbf{H}\mathbf{ϵ}$$$$\overline{\mathbf{y}}=\overline{y}1=\frac{1}{n}{1}^{\mathrm{T}}(b_{0}1+\mathbf{ϵ})1=b_{0}1+\frac{1}{n}{1}^{\mathrm{T}}\mathbf{ϵ}1$$因此$$SST=(\mathbf{ϵ}-\frac{1}{n}{1}^{\mathrm{T}}\mathbf{ϵ}1{)}^{\mathrm{T}}(\mathbf{ϵ}-\frac{1}{n}{1}^{\mathrm{T}}\mathbf{ϵ}1)={\mathbf{ϵ}}^{\mathrm{T}}\mathbf{ϵ}-\frac{1}{n}(1^{\mathrm{T}}\mathbf{ϵ}{)}^2$$$$SSR=(\mathbf{H}\mathbf{ϵ}-\frac{1}{n}{1}^{\mathrm{T}}\mathbf{ϵ}1{)}^{\mathrm{T}}(\mathbf{H}\mathbf{ϵ}-\frac{1}{n}{1}^{\mathrm{T}}\mathbf{ϵ}1)={\mathbf{ϵ}}^{\mathrm{T}}\mathbf{H}\mathbf{ϵ}-\frac{1}{n}(1^{\mathrm{T}}\mathbf{ϵ}{)}^2$$将公式（12）带入上面两式得到：$$SST={\mathbf{\eta }}^{\mathrm{T}}\mathbf{\eta }-\frac{1}{n}(1^{\mathrm{T}}\mathbf{A}\mathbf{\eta }{)}^2=\sum _{i=1}^n{\eta }_i^2-\frac{1}{n}([\sqrt{n},0,0,...,0]\mathbf{\eta }{)}^2=\sum _{i=1}^n{\eta }_i^2-{\eta }_1^2=\sum _{i=2}^n{\eta }_i^2$$$$SSR=\sum _{i=1}^{p+1}{\eta }_i^2-{\eta }_1^2=\sum _{i=2}^{p+1}{\eta }_i^2$$那么$$\frac{SST}{{\sigma }^2}\sim {\chi }^2(n-1)$$$$\frac{SSR}{{\sigma }^2}\sim {\chi }^2(p)$$因此$$\frac{\frac{SSR}{{\sigma }^2}/p}{\frac{SSE}{{\sigma }^2}/(n-p-1)}=\frac{SSR/p}{SSE/(n-p-1)}\sim F(p,n-p-1)$$从而可进行检验。