数据分析模型 第六章

一. 线性回归(linear regression)

线性回归是属于监督学习范畴内的。我们在此先简单的介绍下监督学习.
监督学习(Supervised Learning):
假如我们有n组数据，每组数据有对应的$p+1$个变量.我们现在要预测其中一个变量，利用剩余的p个变量.如下图:

该图中，我们的n就是行，这里有20行，即为20个人，所以n组数据为n个个体。每个个体都有自己对应的具体变量值：Pt(相当于ID)， BP(血压)，Age(年纪)，Weight(体重), 等等.
假如我们的任务是预测BP血压这个变量，那么我们就要用剩下的变量即Age，Weight等等的数据来预测这个BP血压这个变量的具体数值。

如果我们要预测的这个变量是分类数据(categorical)，那么我们预测方法为分类
:例如簇，判断是否为男生或女生.

如果我们要预测的这个变量是数值数据(numerical),那么我们要用回归(regression)：
例如线性回归，预测房价.

正如小弟第一章所述，监督学习，相当于有一份标准答案，假如我们预测BP血压，我们利用我们预测的血压值和标准答案的血压值进行比对，从而估计出参数，使我们的预测值更准确。还记得第三章的MSE么，如果我们估计的参数偏差过小，那么我们的模型很有可能饱和估计，也就是说我们的模型这能预测我们给定的这堆数据(训练数据)里的BP，如果我们估计的参数偏差过大，那模型可能是非饱和估计，我们的模型连我们给定的这推数据(训练数据)里的BP都预测不了.

我们言归正传，来介绍下监督学习的写法:
假如我们的预测变量$y_i$和我们的变量$x_{i,1},x_{i,2},x_{i,3},...,x_{i,p}$有关系，即i∈(1,n)
那么：
$$y_i=f(x_{i,1},x_{i,2},x_{i,3},...,x_{i,p})$$
我们这里的$f(\cdot )$即为我们的预测${\bar{y}}_i$,显然我们的预测${\bar{y}}_i$肯定不会和真值$y_i$一模一样，所以在$f(\cdot )$里会有一个 ${\epsilon }_i$即为误差(error)。

简单线性回归(simple linear regression)
线性模型是属于监督学习，在这里我们认为$f(\cdot )$为线性的，即为:
$$Y={\beta }_0+{\beta }_1{x}_1+....+{\beta }_p{x}_p+\epsilon$$
当然了根据上述，假如我们有n组数据，i∈(1,n)，你也可以写成:
$$Y_i={\beta }_0+{\beta }_1{x}_{i,1}+....+{\beta }_p{x}_{i,p}+{\epsilon }_i$$
当p=1时，为简单的线性回归(simple linear regression)，当p>1时，为多元线性回归(multiple linear regression).这公式翻译过来的意思为，基于独立变量$x_1,..,x_p$关于$Y$的回归.${\beta }_0,{\beta }_1,..,{\beta }_p$为回归系数(regression coefficients)

我们一般会假设$\epsilon$即随机误差(random error)的均值/期望为0，那么也可以写成：
$$E[Y|x]=\bar{Y}={\beta }_0+{\beta }_1{x}_1+....+{\beta }_p{x}_p$$
$E[Y|x]$意味着，基于x，Y的期望,即我们的预测
当然你也可以写成这样:
$$E[Y_i|x_{i,1},..x_{i,p}]={\bar{y}}_i={\beta }_0+{\beta }_1{x}_{i,1}+....+{\beta }_p{x}_{i,p}$$

线性模型是统计里很重要的模型，因为线性模型具有这么三个优点:
1.线性模型具有很高的解释性，例如$y=-3x_1+2x_2$,y为房价，x1为噪音音呗，x2为附近的商场数量，那么随着噪音的增大y房价会减少，但随着商场数量增多，房价还会提高.
2.线性模型很灵活，它甚至可以处理非线性的变量关系。例如我们可以把logx当成一个变量，而不是把x当成一个变量，这样可以把非线性转换为线性。
3.线性模型即使有大量的变量，计算机计算估计参数也会很快。这一点小弟深有体会，小弟当时做了一个卷积层神经网络来分类垃圾，参数很多，调参，估计参数，一上午就没了（计算机算了一上午）。而线性模型估计参数则会很快。

那么如何判断我们的模型预测是好是坏呢？我们通过预测误差(predication error).
$$e_i={\bar{y}}_i-y_i$$
对没错，这里的$e_i$和我们上述的${\epsilon }_i$是一个意思，只是写法不同罢了。这也称为残差(residual error).那么，如果有n组数据，那么对应的会有n组$y_i$,那么它的总共的残差平方和为:
$$RSS=\sum _{i=1}^n{e}_i^2$$
这也被称为残差平方和(residual sum-pf-squared errors)
残差平方和越小，那说明我们的模型越能诠释我们的数据，能诠释我们的Y与剩下$x_1,...x_p$变量的关系。至于为什么用平方和的形式，请看第三章估计的均方误差(mean squared error,简写MSE)，大同小异。

对于简单的线性模型来说,那我们可以利用上述这个特点，来估计我们的回归系数即参数，即:
( β ˉ 0 , β ˉ 1 ) = m i n { R S S } = a r g m i n β o , β 1 { ∑ i = 1 n ( y i − β 0 − β 1 x i ) 2 } (\bar \beta_0,\bar \beta_1)=min\{RSS\}=arg min_{\beta_o,\beta_1}\{\sum_{i=1}^{n}(y_i-\beta_0-\beta_1x_i)^2\} (βˉ​0​,βˉ​1​)=min{RSS}=argminβo​,β1​​{i=1∑n​(yi​−β0​−β1​xi​)2}
这就是最小二乘法估计(LS estimates)
那么:
$$\frac{\partial RSS({\beta }_0,{\beta }_1)}{\partial {\beta }_0}=-2\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)=0$$
$$\frac{\partial RSS({\beta }_0,{\beta }_1)}{\partial {\beta }_1}=-2\sum _{i=1}^n{x}_i(y_i-{\beta }_0-{\beta }_1{x}_i)=0$$
得:
$${\bar{\beta }}_0=\frac{({\sum }_{i=1}^n{y}_i)({\sum }_{i=1}^n{x}_i^2)-({\sum }_{i=1}^n{y}_i{x}_i)({\sum }_{i=1}^n{x}_i)}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}$$
$${\bar{\beta }}_1=(\sum _{i=1}^n{y}_i{x}_i-{\bar{\beta }}_0\sum _{i=1}^n{x}_i)/\sum _{i=1}^n{x}_i^2$$
当然了，你也可以先算${\bar{\beta }}_1$,后算${\bar{\beta }}_0$,均一样，得:
$${\bar{\beta }}_1=(\sum _{i=1}^n{x}_i{Y}_i-\bar{x}\sum _{i=1}^n{Y}_i)/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)$$
$${\bar{\beta }}_0=\sum _{i=1}^n\frac{Y_i}{n}-{\bar{\beta }}_1\bar{x}$$
上述的$\bar{x}$为均值。

那么我们的估计的简单线性回归为:
$${\bar{y}}_i={\bar{\beta }}_0+{\bar{\beta }}_1{x}_i$$
残差为:
$$e_i=y_i-{\bar{y}}_i$$
根据最小二乘法，拟合出来的简单线性回归有这么个特殊性质，即:
$$\sum _{i=1}^n{e}_i=0,corr(x,e)=0$$
这里的$x=(x_1,x_2,....,x_n)$,$e=(e_1,e_2,...,e_n)$,也就是说由最小二乘法拟合出来的该简单线性回归的残差均值/期望为0，并且残差与我们的变量x无关.
这部分的推导很简单，利用公式$\frac{\partial RSS({\beta }_0,{\beta }_1)}{\partial {\beta }_0}$因为：
$$-2\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)=-2\sum _{i=1}^n{e}_i=0$$
所以简单线性回归的残差均值/期望为0，其实多元线性回归也是残差均值/期望=0(小弟先在这提一下)，小弟的意思就是想说这也就是为什么每次讨论线性回归的时候，我们总假设残差或者误差($e_i={\epsilon }_i$这俩写法指的是一个意思就是误差)的均值为0。
还记得$cov(X,Y)=E[XY]-E[X]E[Y]$么，同理$cov(x,e)=E[Xe]-E[X]E[e]$,因为E[e]=0,又因为$E[Xe]=\frac{{\sum }_{i=1}^n{x}_i{e}_i}{n}$,我们再利用公式$\frac{\partial RSS({\beta }_0,{\beta }_1)}{\partial {\beta }_1}$知道${\sum }_{i=1}^n{x}_i{e}_i=0$，所以$cov(x,e)=E[Xe]-E[X]E[e]=0-0=0$,所以$corr(x,e)=0$.

简单线性回归和正态分布(simple linear regression and normal distribution)
可能有的同学会问“我们明白残差均值/期望为0,因为$\frac{\sum e_i}{n}=0$，那么残差是否有方差呢？”对没错，我们其实本质一般会令我们的残差/误差$e_i～N(0,{\sigma }^2)$，${\sigma }^2$是未知的，那么我们的简单线性回归可以写成:
$$Y_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$$

这写法很巧妙！！！小弟上学时特别喜欢简单线性回归能写成这样，为什么。因为它将概率和简单线性回归相融合，并且这样的写法基本上不违反小弟上述所说所有简单线性回归的知识点。举个例子，$E[Y_i]={\beta }_0+{\beta }_1{x}_i$它诠释了上述的$E[Y_i|x_{i,1}]={\bar{Y}}_i={\beta }_0+{\beta }_1{x}_{i,1}$。因为我们的预测${\bar{Y}}_i$和真值$Y_i$肯定会有误差$e_i$,那么$Y_i={\bar{Y}}_i+e_i$, ${\bar{Y}}_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }_u^2<0.00001),e_i～N(0,{\sigma }^2)$那么$Y_i～N({\bar{\beta }}_0+{\bar{\beta }}_1{x}_i,{\sigma }^2={\sigma }^2+{\sigma }_u^2)$。

${\bar{Y}}_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }_u^2<0.00001)$的意思也很巧妙，为什么，我们都知道正态分布以均值对称往外加减多少个标准差，${\sigma }_u^2<0.00001$意味着标准差极小，则该正态分布两边快速下降收敛，那么${\bar{Y}}_i={\beta }_0+{\beta }_1{x}_i$的概率几乎100%，这不就是我们的预测么。

最小二乘法的无偏性
现在我们来利用上述的$Y_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$写法的简单线性回归来证明我们最小二乘法的无偏性和计算对应${\bar{\beta }}_0,{\bar{\beta }}_1$的方差。还记得小弟写的第三章内容里的MSE，对，我们来计算估计参数的期望和方差从而得到它的MSE。
通过最小二乘得到的${\bar{\beta }}_1=({\sum }_{i=1}^n{x}_i{Y}_i-\bar{x}{\sum }_{i=1}^n{Y}_i)/({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)$
那么:
$$E[{\bar{\beta }}_1]=\sum _{i=1}^n(x_i-\bar{x})E[Y_i]/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)=\sum _{i=1}^n(x_i-\bar{x})({\beta }_0+{\beta }_1{x}_i)/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)=\frac{{\beta }_0\sum (x_i-\bar{x})+{\beta }_1\sum x_i(x_i-\bar{x})}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}$$
因为$\sum (x_i-\bar{x})=0$,继续化简得:
$$E[{\bar{\beta }}_1]={\beta }_1$$
我们发现最小二乘法估计${\beta }_1$是无偏估计.接下来我们计算它的方差:
$$Var({\bar{\beta }}_1)=\sum _{i=1}^n(x_i-\bar{x}{)}^{2}V[Y_i]/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2{)}^2={\sigma }^2\sum _{i=1}^n(x_i-\bar{x}{)}^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2{)}^2={\sigma }^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)$$
那么：
$$MS{E}_{{\beta }_1}({\bar{\beta }}_1)=0^2+{\sigma }^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)$$

现在同理计算${\bar{\beta }}_0$的期望和方差,下述公式$\bar{x}$为均值
$$E[{\bar{\beta }}_0]=E[\sum _{i=1}^n\frac{Y_i}{n}-{\bar{\beta }}_1\bar{x}]=\sum _{i=1}^n\frac{E[Y_i]}{n}-E[{\bar{\beta }}_1]\bar{x}=\sum _{i=1}^n\frac{{\beta }_0+{\beta }_1{x}_i}{n}-{\beta }_1\bar{x}={\beta }_0+{\beta }_1\bar{x}-{\beta }_1\bar{x}={\beta }_0$$
我们发现最小二乘法估计${\beta }_0$是无偏估计.接下来我们计算它的方差:
$$Var({\bar{\beta }}_0)=\frac{{\sigma }^2{\sum }_{i=1}^n{x}_i^2}{n({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}$$
那么：
$$MS{E}_{{\beta }_0}({\bar{\beta }}_0)=0^2+\frac{{\sigma }^2{\sum }_{i=1}^n{x}_i^2}{n({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}$$

那么我们用最小二乘法得到的${\bar{\beta }}_0,{\bar{\beta }}_1$也会服从正态分布，将上述的分别计算对应的期望和方差放入正态分布即可，得:
$${\bar{\beta }}_1～N({\beta }_1,{\sigma }^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2))$$
$${\bar{\beta }}_0～N({\beta }_0,\frac{{\sigma }^2{\sum }_{i=1}^n{x}_i^2}{n({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)})$$

最小二乘法和似然估计
正如小弟在第三章末尾所说，最小二乘法跟似然估计很像，均是为了追求无偏性，而增加了方差。也就是说，在给定的数据里这样得到的拟合模型准确度是很高的，但在未知数据里即预测方面，因为方差很大所以它的预测变化很大，是我们对于预测没有很大信心。那么有的同学会问:“似然估计可以用在线性回归上么”，对没错，是可以的，在线性回归上，最小二乘法其实就是似然估计。

我们依然用:
残差/误差$e_i～N(0,{\sigma }^2)$，${\sigma }^2$是未知的
$$Y_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$$

那么我们计算似然得:
$${\Pi }_{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2/2{\sigma }^2)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }^2}exp(-\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2/2{\sigma }^2)$$
得：
$$L(y|{\beta }_0,{\beta }_1,{\sigma }^2)=\frac{n}{2}log(2\pi {\sigma }^2)+\frac{RSS({\beta }_0,{\beta }_1)}{2{\sigma }^2}$$
我们可以清楚得看到，要计算最大似然估计依然需要计算 m i n { ∑ i = 1 n ( y i − β 0 − β 1 x i ) 2 } min\{\sum_{i=1}^{n}(y_i-\beta_0-\beta_1x_i)^2\} min{∑i=1n​(yi​−β0​−β1​xi​)2}，这不就是最小二乘法么,所以说最小二乘法和似然估计在估计线性回归的系数方面上计算方法是一样的。

残差的方差估计
现在还剩下一个问题，当残差/误差$e_i～N(0,{\sigma }^2)$,估计未知的${\sigma }^2$,即我们现在来尝试着估计它.
因为我们知道:
$$RSS=\sum _{i=1}^n(y_i-{\bar{\beta }}_0-{\bar{\beta }}_1{x}_i{)}^2$$
那么:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$$
可能大家会有疑问为什么$\frac{RSS}{{\sigma }^2}$服从n-2个自由度的卡方.
首先卡方分布小弟就不带大家回顾了，大家可以上网查，或者看小弟第三章内容里卡方分布(chi-square)和第四章内容里置信区间和总体方差(CI & variance)有关卡方的应用.

证明$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$：
因为$Y_i$是正态随机变量，那么
$$\frac{Y_i-E[Y_i]}{\sqrt{V[Y_i]}}～N(0,1)$$
为标准正态随机变量.
那么根据卡方分布定义，得:
$$\sum _{i=1}^n\frac{(Y_i-E[Y_i]{)}^2}{V[Y_i]}=\sum _{i=1}^n\frac{(Y_i-{\beta }_0-{\beta }_1{x}_i{)}^2}{{\sigma }^2}～{\chi }_n^2$$

再根据我们上述知道的${\bar{\beta }}_0,{\bar{\beta }}_1$服从的正态分布，得
$$({\bar{\beta }}_1-{\beta }_1{)}^2(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)/{\sigma }^2～{\chi }_1^2$$
$$({\bar{\beta }}_0-{\beta }_0{)}^2(n(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2))/({\sigma }^2\sum _{i=1}^n{x}_i^2)～{\chi }_1^2$$
可得:
$$\frac{RSS}{{\sigma }^2}=\sum _{i=1}^n\frac{(Y_i-{\beta }_0-{\beta }_1{x}_i{)}^2}{{\sigma }^2}-({\bar{\beta }}_1-{\beta }_1{)}^2(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)/{\sigma }^2-({\bar{\beta }}_0-{\beta }_0{)}^2(n(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2))/({\sigma }^2\sum _{i=1}^n{x}_i^2)～{\chi }_n^2-{\chi }_1^2-{\chi }_1^2={\chi }_{n-2}^2$$
是不是很头疼，实不相瞒，小弟看到这公式也想吐，上学期间老师说了个类比的方式(也可以说是一种背诵小技巧)，在此也分享给大家有助于大家理解和记忆。
大家是否还记的
$$\frac{\sum (y_i-\mu {)}^2}{{\sigma }^2}=\frac{\sum (y_i-\bar{y}{)}^2}{{\sigma }^2}+\frac{n(\bar{y}-\mu {)}^2}{{\sigma }^2}～{\chi }_n^2={\chi }_{n-1}^2+{\chi }_1^2$$（具体原因请看小弟第三章内容里卡方分布(chi-square)和第四章内容里置信区间和总体方差(CI & variance)有关卡方的应用.）我们会发现有多少个估计参数，那就在原真参数的公式下减多少个自由度，前提是$y_i$服从正态分布！！！
那么回到$\frac{RSS}{{\sigma }^2}$,因为有两个估计参数${\bar{\beta }}_0,{\bar{\beta }}_1$需要减去，那么则需要减去两个自由度即n-2个自由度。对没错，可能有的同学想到了，如果是多元线性回归，我们有p个随机变量对应有p个系数参数(${\beta }_1,...,{\beta }_p$)，那么就要减去p+1个自由度了(因为我们还有个${\beta }_0$)即n-p-1个自由度。这个说法有点野路子，但没错过。有点像高考数学填空题记个套路，算的快点。另外有的同学会说如果p>=n呢，那岂不0个或负个自由度？？这问题小弟还真没细想过，但一般来说参数的数量p是远远小于数据量(训练数据量)n的。你有见过30000个训练数据量模型有30000个参数么，小弟只有在神经网络上面有见过类似的还没有那么多参数，这还是饱和模型的情况下，因为当参数量过大，模型会饱和预测即对于未知预测表现差，但那恐怕也不是在线性回归模型上吧，况且那里的$y_i$还是个矩阵，跟我们现在讲的$y_i$不是一回事，更不会服从正态分布吧。

现在回归正题，那么:
$$E[\frac{RSS}{{\sigma }^2}]=n-2$$
我们也可以写成:
$$E[\frac{RSS}{n-2}]={\sigma }^2$$
我们会发现$\frac{RSS}{n-2}$是无偏估计${\sigma }^2$

简单线性回归的假设检验和置信区间:
正如第五章所述，假设检验和置信区间已经被统一了，什么意思，就是95%置信区间，以外的在假设检验里面被称为阈值，如果p值大于阈值则原假设成立。

${\beta }_1$的假设检验和置信区间
很多情况下，我们在做假设检验的时候经常写成：
$$H_0:{\beta }_1=0,vs{H}_1:{\beta }_1\ne 0$$
小弟以这个假设检验做例子是因为，大部分得时候我们想判断下是否存在${\beta }_1$

那么根据我们先前计算的:
$${\bar{\beta }}_1～N({\beta }_1,{\sigma }^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2))$$
那么:
$$({\bar{\beta }}_1-{\beta }_1)/\sqrt{{\sigma }^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)}～N(0,1)$$
又因为:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$$

我们可得；
$$\frac{({\bar{\beta }}_1-{\beta }_1)/\sqrt{{\sigma }^2/({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}{\sqrt{\frac{RSS}{{\sigma }^2(n-2)}}}～t_{n-2}$$
至于为什么为n-2自由度的t分布，请看数据分析模型 第四章，t分布。
我们现在有了对应的分布，那么做假设检验和置信区间便容易多了。

假设原假设成立${\beta }_1=0$，那么：
$$v=\frac{({\bar{\beta }}_1)/\sqrt{{\sigma }^2/({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}{\sqrt{\frac{RSS}{{\sigma }^2(n-2)}}}～t_{n-2}$$
那么计算p值:
p = 2 P { T n − 2 > v } p=2P\{T_{n-2}>v\} p=2P{Tn−2​>v}

我们是不是算置信区间也容易了，即:
P { − t α / 2 , n − 2 < ( β ˉ 1 − β 1 ) / σ 2 / ( ∑ i = 1 n x i 2 − n x ˉ 2 ) R S S n − 2 < − t α / 2 , n − 2 } = 1 − α P\{-t_{\alpha/2,n-2}<\frac{(\bar\beta_1-\beta_1)/\sqrt{\sigma^2/(\sum_{i=1}^{n}x^2_i-n\bar x^2)}}{\frac{RSS}{n-2}}<-t_{\alpha/2,n-2}\}=1-\alpha P{−tα/2,n−2​<n−2RSS​(βˉ​1​−β1​)/σ2/(∑i=1n​xi2​−nxˉ2) ​​<−tα/2,n−2​}=1−α
得：
$$({\bar{\beta }}_1-\sqrt{\frac{RSS}{(n-2)({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}{t}_{\alpha /2,n-2}<{\beta }_1<{\bar{\beta }}_1+\sqrt{\frac{RSS}{(n-2)({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}{t}_{\alpha /2,n-2})$$

以上是关于${\beta }_1$的假设检验和置信区间，

${\beta }_0$的假设检验和置信区间
真的大同小异，但小弟知道大家都很懒，所以小弟还是多写几笔。

那么根据我们先前计算的:
$${\bar{\beta }}_0～N({\beta }_0,\frac{{\sigma }^2{\sum }_{i=1}^n{x}_i^2}{n({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)})$$
那么:
$$({\bar{\beta }}_0-{\beta }_0)/\sqrt{\frac{{\sigma }^2{\sum }_{i=1}^n{x}_i^2}{n({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}～N(0,1)$$
又因为:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$$
同理与关于上述${\beta }_1$的计算我们可得：
$$\sqrt{\frac{n(n-2)({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}{{\sum }_{i=1}^n{x}_i^{2}RSS}}({\bar{\beta }}_0-{\beta }_0)～t_{n-2}$$
如果是假设检验，我们就假设原假设成立将${\beta }_0$具体值带入,然后计算p值
如果是置信区间则:
$${\bar{\beta }}_0\pm \sqrt{\frac{{\sum }_{i=1}^n{x}_i^{2}RSS}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)n(n-2)}}{t}_{\alpha /2,n-2}$$

${\beta }_0+{\beta }_1{x}_0$的置信区间
这里的$x_0$是未来的数据，我们要利用置信区间来判断预测值的范围。
我们最早不是利用最小二乘法估计出${\bar{\beta }}_0,{\bar{\beta }}_1$么？即:
$${\bar{\beta }}_1=\frac{1}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}(\sum _{i=1}^n{x}_i{Y}_i-\bar{x}\sum _{i=1}^n{Y}_i)$$
$${\bar{\beta }}_0=\sum _{i=1}^n\frac{Y_i}{n}-{\bar{\beta }}_1\bar{x}$$
这里的$\bar{x}$为xi均值

那么我可以得到:
$${\bar{\beta }}_0+\bar{\beta }{x}_0=\sum _{i=1}^n{Y}_i[\frac{1}{n}-\frac{1}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}(x_i-\bar{x})(\bar{x}-x_0)]$$
那么:
$$V[{\bar{\beta }}_0+\bar{\beta }{x}_0]=\sum _{i=1}^n[\frac{1}{n}-\frac{1}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}(x_i-\bar{x})(\bar{x}-x_0){]}^{2}V[Y_i]$$
因为$Y_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$,$V[Y_i]={\sigma }^2$

那么化简后:
$$V[{\bar{\beta }}_0+\bar{\beta }{x}_0]={\sigma }^2[\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}]$$

接下来我们又要做同样操作了:
$${\bar{\beta }}_0+{\bar{\beta }}_1{x}_0～N({\beta }_0+{\beta }_1{x}_0,V[{\bar{\beta }}_0+\bar{\beta }{x}_0]={\sigma }^2[\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}])$$

又因为:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$$

那么：
$$[{\bar{\beta }}_0+{\bar{\beta }}_1{x}_0-({\beta }_0+{\beta }_1{x}_0)]/[\sqrt{\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}\sqrt{\frac{RSS}{n-2}}]～t_{n-2}$$
小弟相信大家明白为什么服从n-2自由度的t分布！！
那么我便得到了${\beta }_0+{\beta }_1{x}_0$的置信区间，即:
$${\bar{\beta }}_0+{\bar{\beta }}_1{x}_0\pm \sqrt{\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}\sqrt{\frac{RSS}{n-2}}{t}_{\alpha /2,n-2}$$

但是有的同学会问，虽然我们利用最小二乘法估计，计算 m i n { R S S } min\{RSS\} min{RSS}，但怎么着也不可能RSS=0，也就是说在怎么模型的拟合度高，也会有误差$\epsilon$。对，没错，我们一般会用$Y(x_0)={\beta }_0+{\beta }_1{x}_0+\epsilon$来计算基于未来数据的预测的置信区间

$Y(x_0)={\beta }_0+{\beta }_1{x}_0+\epsilon$来计算基于未来数据的预测的置信区间

因为:
$$Y=Y(x_0)～N({\beta }_0+{\beta }_1{x}_0,{\sigma }^2)$$
又因为:
$${\bar{\beta }}_0+{\bar{\beta }}_1{x}_0～N({\beta }_0+{\beta }_1{x}_0,V[{\bar{\beta }}_0+\bar{\beta }{x}_0]={\sigma }^2[\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}])$$

所以:
$$Y-{\bar{\beta }}_0-{\bar{\beta }}_1{x}_0～N(0,{\sigma }^2[1+\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}])$$
即:
$$\frac{Y-{\bar{\beta }}_0-{\bar{\beta }}_1{x}_0}{\sigma \sqrt{\frac{n+1}{n}+\frac{(x_0-\bar{x}{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}}～N(0,1)$$

又来了，同样的操作:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$$
那么:
$$(Y-{\bar{\beta }}_0-{\bar{\beta }}_1{x}_0)/[\sqrt{\frac{n+1}{n}+\frac{(x_0-\bar{x}{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}\sqrt{\frac{RSS}{n-2}}]～t_{n-2}$$

置信区间:
$${\bar{\beta }}_0+{\bar{\beta }}_1{x}_0\pm \sqrt{\frac{n+1}{n}+\frac{(x_0-\bar{x}{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}\sqrt{\frac{RSS}{n-2}}{t}_{\alpha /2,n-2}$$

我知道，看到这，如果大家没发现小弟上述的推导有一定的规律的话，可能大家会觉得世界很沧桑，为什么要学数学。

真的它不难，只是繁琐，上述所有推导的本质都来源于线性回归和正态分布的结合即$Y_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$，和我们对于估计${\sigma }^2$时，得到的$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$,从而找到对应得分布，又因为置信区间和假设检验已经被前人统一，那么无论是计算置信区间和p值均很容易。
小弟在此写个汇总给大家吧。

简单线性模型和分布的汇总
模型：$Y={\beta }_0+{\beta }_{1}x+e$,$e～N(0,{\sigma }^2)$
数据(x_i,Y_i), i=1,2,3,…,n

关于谁的推论	涉及的分布
${\beta }_1$	( β ˉ 1 − β 1 ) / σ 2 / ( ∑ i = 1 n x i 2 − n x ˉ 2 ) R S S σ 2 ( n − 2 ) ～ t n − 2 \frac{(\bar\beta_1-\beta_1)/\sqrt{\sigma^2/(\sum_{i=1}^{n}x^2_i-n\bar x^2)}}{\sqrt{\frac{RSS}{\sigma^2(n-2)}}}～t_{n-2} σ2(n−2)RSS​ ​(βˉ​1​−β