ARA-week2

Linear Regression 线性回归
最小二乘法得到的$\beta_0$和$\beta_1$的估计：
$\hat \beta_1= \frac{\widehat{cov}(x,y)}{\widehat{Var}(x)}$，$\hat \beta_0 = \overline Y - \hat \beta_1 \overline X$
$\hat\beta_1$的计算式：$\hat\beta_1 = \frac{\sum x_iy_i - \frac{\sum x_i \sum y_i} {n}} {\sum x_i^2 - \frac{(\sum x_i)^2}{n}}$
全都由样本数据构成，便于计算。

得到的回归方程可以写成：$\hat y = \hat \beta_0 + \hat \beta_1 x$
也可以写成这种形式：$\hat y=a + b (x - \overline{\mathsf{X}})$

对于散点$(x,y)$而言，第一个变量$x$是依赖变量（dependent variable），第二个变量$y$是独立变量（independent variable）。
Error Sum of Squares: $SSE=\sum\limits_{i=1}^{n}(y_i - \hat y_i)^2$

homoscedasticity
即对于每一个$x$而言，$y$的方差是一样的。即$\sigma_{y|x_i}^2 = \sigma_{y|x_j}^2 = \sigma^2$
对于$\sigma^2$的估计如下：
$s_{y|x}^2 = \frac{1}{n-2}\sum\limits_{i=1}^n(y_i-\hat y_i)^2 = \frac{n-1}{n-2}\left(s_y^2 - \hat\beta_i^2 s_x^2\right)$$(*)$
这里的分母是$n-2$是因为计算$\hat \beta_0$和$\hat \beta_1$时用去了两个自由度。
若$(*)$中的$\hat \beta_i = 0$，表明给定$x$情况下$y$的方差，和$y$的方差一致（有一个因子$\frac{n-1}{n-2}$的差异），$x$不能帮助减小$y$的方差。即$x$无法增加$y$的数据使用者对数据的准确度信心。
由$(*)$式，标准误SEE(Standard Error of Estimate)即为$s_{y|x}$。
这里$s_x^2 = \frac{\sum \limits_{i=1}^n(x_i - \hat x_i)^2}{n-1}$，$s_y^2 = \frac{\sum \limits_{i=1}^n(y_i - \hat y_i)^2}{n-1}$

对于任意给定的$x$，假定$y$服从正态分布，我们可以对$\beta_0$和$\beta_1$进行假设检验和建立置信区间。这里：
$\hat \beta_0 \sim N \left(\beta_0, \sigma^2\left(\frac{1}{n} + \frac{\overline{\mathsf{X}}^2}{(n-1)s_x^2}\right)\right)$$(0)$
$\hat \beta_1 \sim N \left(\beta_1, \frac{\sigma^2}{(n-1)s_x^2}\right)$$(1)$
因为我们没有$\sigma^2$的值，因此用$(*)$中的$s_{y|x}^2$替代。使用自由度为$n-2$的$t$分布。

1.首先考虑$\beta_1$
假定
零假设：$H_0: \beta_1 = 0$
备择假设：$H_a: \beta_1 \neq 0$
根据$(1)$式计算出$t$统计量：$t = \frac{\hat \beta_1 - \beta_1^{(0)}}{\frac{s_{y|x}}{s_x \sqrt{n-1}}}$
如果$|t|>t_{1-\frac{\alpha}{2}}(n-2)$，在$\alpha$的程度拒绝$H_0$（此时$p<0.001$）
这里的零假设是指假定斜率为0，即$x$和$y$之间不存在线性关系。若拒绝0假设，则表明$x$为预测$y$提供了重要的信息，表明线性回归得到的模型比预测$y$的naive model（即对所有的$x$用均值$\overline {\mathsf{Y}}$来估计）要好得多，但这也可能存在更好的模型（例如非线性模型，可能对数据拟合的更好）。
同时，如果零假设没有被拒绝可能表明：1.$x$对于预测$y$没有帮助。2.$x$和$y$之间的真实模型不是线性的。

置信区间为：$\hat \beta_1 - t_{1-\frac{\alpha}{2}}[\frac{s_{y|x}}{s_x \sqrt{n-1}}] \le \beta_1 \le \hat \beta_1 + t_{1-\frac{\alpha}{2}}[\frac{s_{y|x}}{s_x \sqrt{n-1}}]$

2.再考虑$\beta_0$
0假设：$H_0: \beta_0 = \beta_0^{(0)}$
根据$(0)$式计算$t$统计量：$t = \frac{\hat \beta_0 - \beta_0^{(0)}}{s_{y|x}\sqrt{\frac{1}{n}+\frac{\overline{\mathsf{X}}^2}{(n-1)s_x^2}}}$
$t \sim t(n-2)$