回归分析 简单线性回归的参数评价与多元线性回归起步

简单线性回归的参数评价

fitted value 的区间估计

区间估计 Confidence Interval

考虑估计出来的参数\hat alpha, \hat beta，
$$\frac{\hat{\alpha }+\hat{\beta }{x}_{n+1}-\alpha +\beta x_{n+1}}{\sigma \sqrt{\frac{1}{n}+\frac{(x_{n+1}-\bar{x}{)}^2}{S_{xx}}}}\sim N(0,1)$$
考虑到分母中的sigma是未知的参数，我们用s/\sigma 它的无偏估计量s替换。左右同除以s/sigma，有
$$\frac{\hat{\alpha }+\hat{\beta }{x}_{n+1}-\alpha +\beta x_{n+1}}{s\sqrt{\frac{1}{n}+\frac{(x_{n+1}-\bar{x}{)}^2}{S_{xx}}}}\sim t_{n-2}$$
这是因为（s/\sigma）^2 服从自由度为n-2的卡方分布。

由此给出区间估计
$$P(\alpha +\beta x_{n+1}\in [\hat{\alpha }+\hat{\beta }{x}_{n+1}\pm t_{n-2}(\alpha /2)s\sqrt{\frac{1}{n}+\frac{(x_{n+1}-\bar{x}{)}^2}{S_{xx}}}])=1-\alpha \text{\hspace{1em}(1)}$$

好的，那么，如果我们有k个目标要估计呢？
$$P(\alpha +\beta x_{n+i}\in [\hat{\alpha }+\hat{\beta }{x}_{n+1}\pm △],i=1,...,k)\ge 1-\alpha$$
考虑写成事件交集的形式
$$P(\bigcap _{i=1}^k\alpha +\beta x_{n+i}\in [\hat{\alpha }+\hat{\beta }{x}_{n+1}\pm △])\ge 1-\alpha$$
再写成差的绝对值的形式
$$P(\bigcap _{i=1}^k|\alpha +\beta x_{n+i}-\hat{\alpha }+\hat{\beta }{x}_{n+1}|\le △)\ge 1-\alpha$$
再写成1-补事件发生的概率的形式，对概率的并，可以放缩到子事件概率的求和
$$1-P(\bigcup _{i=1}^k|\alpha +\beta x_{n+i}-\hat{\alpha }+\hat{\beta }{x}_{n+1}|\ge △)\ge 1-\sum _{i=1}^{k}P(|\alpha +\beta x_{n+i}-\hat{\alpha }+\hat{\beta }{x}_{n+1}|\ge △)\ge 1-\alpha$$

由此，我们希望使求和项不小于\alpha，即可得到想要的\delta.

不妨对每一项概率都提出要求：
$$P(|\alpha +\beta x_{n+i}-\hat{\alpha }+\hat{\beta }{x}_{n+1}|\ge △)=\frac{\alpha }{k}$$
考虑下式
$$P(\frac{|\alpha +\beta x_{n+i}-\hat{\alpha }+\hat{\beta }{x}_{n+1}|}{s\sqrt{\frac{1}{n}+\frac{(x_{n+1}-\bar{x}{)}^2}{S_{xx}}}}\ge \frac{△}{s\sqrt{\frac{1}{n}+\frac{(x_{n+1}-\bar{x}{)}^2}{S_{xx}}}})=\frac{\alpha }{k}$$
不等式左边的随机变量服从自由度为n-2的t分布。

考虑
$$\begin{gathered} \frac{△}{s\sqrt{\frac{1}{n}+\frac{(x_{n+1}-\bar{x}{)}^2}{S_{xx}}}}=t_{n-2}(\frac{\alpha }{2k}) \\ \therefore △=s{t}_{n-2}(\frac{\alpha }{2k})\sqrt{\frac{1}{n}+\frac{(x_{n+1}-\bar{x}{)}^2}{S_{xx}}}\text{\hspace{1em}(2)} \end{gathered}$$
与(1)对比可以知道，同时估计多个区间的话，区间的长度要大一些，这样才更有把握。
$$t_{n-2}(\frac{\alpha }{2k})>t_{n-2}(\frac{\alpha }{2})$$

以上，是k为有限数的时候才能用，无限数的话，分位数就取到无穷大了。所以可以换一种研究方法，研究t分布的随机变量中最大的那一个。
$$P\left(\underset{i}{\max }\right|\frac{|\alpha +\beta x_{n+i}-\hat{\alpha }+\hat{\beta }{x}_{n+1}|}{s\sqrt{\frac{1}{n}+\frac{(x_{n+1}-\bar{x}{)}^2}{S_{xx}}}}|\le \frac{△}{s\sqrt{\frac{1}{n}+\frac{(x_{n+1}-\bar{x}{)}^2}{S_{xx}}}})=1-\alpha$$

假设检验 Hypothesis Test

先找点估计，再确定拒绝域
$$\begin{gathered} H_0:\beta ={\beta }_0,H_1:\beta \ne {\beta }_0 \\ \hat{\beta }\to \beta \stackrel{H_0}{⟶}{\beta }_0 \\ If|\hat{\beta }-{\beta }_0|>A,Reject{H}_0 \end{gathered}$$
显著水平：
$$\alpha =P(Reject{H}_0|H_0)=P(|\hat{\beta }-{\beta }_0|>A|H_0)$$
怎样找A呢？
$$\frac{\hat{\beta }-\beta }{\sigma /\sqrt{S_{xx}}}\sim N(0,1)$$
上式除以s/\sigma

$$\frac{\hat{\beta }-\beta }{s/\sqrt{S_{xx}}}\sim t_{n-2}$$

这是因为
$$s\sim {\chi }^2(n-2),\hat{\beta }\perp \perp s$$
所以，我们可以进一步确定A
$$\begin{gathered} P(\frac{|\hat{\beta }-{\beta }_0|}{s/\sqrt{S_{xx}}}>\frac{A}{s/\sqrt{S_{xx}}}|H_0)=\alpha \\ \therefore A=t_{n-2}(\alpha /2)\frac{s}{\sqrt{S_{xx}}} \end{gathered}$$
这就是对\beta=0做的假设检验的拒绝域。

诸SS的分布

$$SST=\sum (y_i-\bar{y}{)}^2=S_{YY},d{f}_T=n-1$$

$$\begin{gathered} SSR=\sum ({\hat{y}}_i-\bar{y}{)}^2 \\ \bar{y}=\bar{\hat{y}},SSR=\hat{\beta }{S}_{xx},d{f}_R=1 \end{gathered}$$

$$SSE=\sum ({\hat{y}}_i-y_i{)}^2\sim {\sigma }^2{\chi }^2(n-2),d{f}_E=n-2$$

有
$$\begin{gathered} d{f}_T=d{f}_E+d{f}_R \\ {r}^2\stackrel{△}{=}\frac{SSR}{SST} \\ \frac{SSE}{n-2}=s^2\perp \perp \hat{\beta }=\frac{SSR}{S_{xx}} \end{gathered}$$

现在，用SS来检验H0。Under H0：\beta=0
$$\begin{gathered} y_i=\alpha +\beta x_i+{ϵ}_i=\alpha +{ϵ}_i \\ \bar{y}=\alpha +\overline{ϵ},y_i-\bar{y}={ϵ}_i-\overline{ϵ} \\ \because {ϵ}_i\stackrel{i.i.d.}{\sim }N(0,{\sigma }^2) \\ \therefore \overline{ϵ}\stackrel{i.i.d.}{\sim }N(0,\frac{{\sigma }^2}{n}) \\ \frac{1}{n-1}\sum ({ϵ}_i-\overline{ϵ}{)}^2\sim \frac{{\sigma }^2{\chi }^2(n-1)}{n-1} \end{gathered}$$
最后两个分布是相互独立的，这一结论可以通过构造特殊的正交矩阵来证明。
$$SST=\sum (y_i-\bar{y}{)}^2=\sum ({ϵ}_i-\overline{ϵ}{)}^2={\sigma }^2{\chi }^2(n-1)$$
还可以将\bar \epsilon写成矩阵乘积的形式
$$\begin{gathered} (ϵ-\overline{ϵ})=(I_n-\frac{1}{n}11^T)ϵ \\ where1=(1,...,1{)}^T \end{gathered}$$
所以，SST也可以写成如下的形式：
$$\begin{gathered} SST={ϵ}^T(I_n-\frac{1}{n}11^T{)}^T(I_n-\frac{1}{n}11^T)ϵ \\ ={ϵ}^T(I_n-\frac{1}{n}11^T)ϵ \end{gathered}$$
若二次型中间的矩阵对称、幂等，则此二次型即为卡方分布，其自由度为矩阵的迹。

显然，对称幂等已经有了，
$$\begin{gathered} tr(AB)=tr(BA) \\ tr(11^T)=tr(1^{T}1)=n \\ tr(I_n-\frac{1}{n}11^T)=n-1 \end{gathered}$$
所以
$$SST={\sigma }^2{\chi }^2(n-1)$$

接下来，再考察SSR
$$SSR={\hat{\beta }}^2{S}_{xx}=(\frac{S_{xy}}{S_{xx}}{)}^2{S}_{xx}=\frac{S_{xy}^2}{S_{xx}}\sim {\sigma }^2{\chi }^2(1)$$
证明是容易的
$$\begin{gathered} (\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{S_{xx}}}{)}^2=(\frac{\sum (x_i-\bar{x})({ϵ}_i-\overline{ϵ})}{\sqrt{S_{xx}}}{)}^2 \\ =(\frac{\sum (x_i-\bar{x}){ϵ}_i}{\sqrt{S_{xx}}}{)}^2 \end{gathered}$$
括号内的部分服从期望为0的正态分布，只需要考察其方差即可。
$$Var\left(\frac{\sum (x_i-\bar{x}){ϵ}_i}{\sqrt{S_{xx}}}\right)=\frac{1}{S_{xx}}\sum (x_i-\bar{x}{)}^{2}Var({ϵ}_i)=\frac{S_{xx}}{S_{xx}}{\sigma }^2={\sigma }^2$$
由此，
$$SSR={\sigma }^2{\chi }^2(1)$$
因为SSR与SSE是独立的，
$$SST=SSR+SSE$$
所以它们的分布的自由度也有类似的和数关系
$$n-1=1+n-2$$
现在，考虑拒绝域
$$\alpha =P(拒绝H_0|H_0)=P(SSR>A|H_0)$$
尽管我们已经知道SSR的分布，但是分布的参数\sigma^{2是未知的，所以不能直接写出分位数。为了消除未知参数的影响，我们对不等式左右两边同除以s}2
$$\alpha =P(\frac{SSR}{s^2}>\frac{A}{s^2}|H_0)$$
SSR=MSR 均方残差

s^2=MSE 均方误差

定义F=MSR/MSE

就有
$$F=\frac{{\sigma }^2{\chi }^2(1)}{{\sigma }^2{\chi }^2(n-2)/(n-2)}$$
由于分子分母是独立的，F服从参数为1，n-2的F分布。

所以，
$$A=F_{1,n-2}(\alpha )s^2$$

多元线性回归

$$Y=X\beta +ϵ$$

X被称为Data Matrix或Design Matrix。beta是参数向量，可以从最小二乘，BLUE，MLE三个层面加以考察。
$$\begin{gathered} Y\in {\mathbb{R}}^{n\times 1} \\ ϵ\in {\mathbb{R}}^{n\times 1} \\ X\in {\mathbb{R}}^{n\times (k+1)} \\ \beta \in {\mathbb{R}}^{(k+1)\times 1} \end{gathered}$$
再假设
$$Cov(Y|X)=Cov(ϵ)={\sigma }^2{I}_n$$
即，各个观测之间是不相关的。

$$\hat{Y}=X\hat{\beta }$$
被称为Regression Plane （回归平面）。

对于最小二乘的方法，求导，解出导数为0的方程，得到
$$\begin{gathered} \hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}Y \\ E(\hat{\beta })=E((X^{T}X{)}^{-1}{X}^{T}Y)=(X^{T}X{)}^{-1}{X}^{T}X\beta =\beta \end{gathered}$$
所以，此\hat \beta是无偏估计量。
$$\begin{gathered} Cov(\hat{\beta })=Cov((X^{T}X{)}^{-1}{X}^{T}Y)=(X^{T}X{)}^{-1}{X}^T{\sigma }^{2}X{I}_n(X^{T}X{)}^{-1} \\ ={\sigma }^2(X^{T}X{)}^{-1} \end{gathered}$$
如果代入k=1,容易看出\hat \alpha, \hat \beta的方差。

此处，除了解释变量X_i以外，我们还会补充一个截距项。
x 0 = 1 n , Y ^ ∈ s p a n { 1 n , x 1 , . . . , x k } Y ^ = H Y = X ( X T X ) − 1 Y x_0=\mathbb1_n,\hat Y\in span\{\mathbb1_n,x_1,...,x_k\}\\ \hat Y=HY=X(X^TX)^{-1}Y x0​=1n​,Y^∈span{1n​,x1​,...,xk​}Y^=HY=X(XTX)−1Y
将H称为Hat Matrix或Projection Matrix。它是由X的特征向量组成的矩阵。

投影阵的性质：

1. 对称
2. 幂等
3. 与单位阵的差也是幂等
4. 迹为目标空间的维数

$$\begin{gathered} tr(H)=tr(X(X^{T}X{)}^{-1}{X}^T) \\ =tr(X^{T}X(X^{T}X{)}^{-1}) \\ =tr(I_{K+1})=k+1 \end{gathered}$$

5. 投影X，等于没有改变。

$$(I-H)X=0$$

从5还可以有一个结论：当上式取第一列时，有
$$H{1}_n=1_n$$
这个式子还是有点重要的。

BLUE（可以说明就是LSE）

对于LSE估计
$$b=(X^{T}X{)}^{-1}{X}^{T}Y$$
考虑任意一个其它的线性无偏估计：
$$\begin{gathered} \hat{\beta }=((X^{T}X{)}^{-1}{X}^T+A)Y \\ E[\hat{\beta }]=((X^{T}X{)}^{-1}{X}^T+A)X\beta =\beta +AX\beta \end{gathered}$$
由此，
$$AX=0$$

考察协方差矩阵
$$\begin{gathered} Cov(\hat{\beta })=[(X^{T}X{)}^{-1}{X}^T+A]{\sigma }^2{I}_n[X(X^{T}X{)}^{-1}+A^T] \\ ={\sigma }^2((X^{T}X{)}^{-1}+A{A}^T） \end{gathered}$$
因为AA^T是非负定矩阵，所以
$$tr(Cov(\hat{\beta }))\ge {\sigma }^2((X^{T}X{)}^{-1})=tr(Cov(b))$$
等号成立当且仅当A=0。

所以，LSE=BLUE。