商务与经济统计阅读笔记3

简单线性回归

回归分析：利用统计学方法来建立一个表示变量间相互关系的方程。

被预测的变量称为因变量，用来预测的是自变量。

14.1 简单线性回归模型

ε是一个随机变量，称为模型的误差项，包含在y中，但是不能被x和y之间的线性关系解释的变异性。

估计的回归方程，用样本统计量b0和b1来作为总体参数β0和β1的估计量。

利用最小二乘法计算b0和b1。

14.2 最小二乘法

最小二乘法利用样本数据，通过使因变量的观测值与因变量的预测值之间的离差平方和达到最小从而求出b0和b1。

14.3 判定系数

判定系数为估计的回归方程提供了一个拟合优度的度量，值介于0到1

SST = SSE + SSR

判定系数理解为总平方和中能被估计的回归方程解释的百分比。

相关系数

两个变量x和y之间线性关系强度的描述性度量。

相关系数介于-1~1，-1表示x和y完全负相关，全部数据点落到一条斜率为负的直线上，+1表示完全正相关，全部数据落到一条斜率为正的直线上。

样本相关系数的适用范围限制在两变量间存在线性关系的情况，判定系数对非线性关系以及有两个或两个以上自变量的相关关系都适用。

14.4 模型的假定

尽管判定系数很大，也不能直接用回归方程，还要对变量之间关系的显著性进行检验。

回归模型中误差项ε的假定：一是该误差项是一个期望值为0的随机变量，即E(ε)=0，二是对所有的x值，ε的方差都是相同的，三是ε的值是相互独立的，四是对所有的x值，ε是一个正态分布的随机变量。

14.5 显著性检验

为了检验两变量之间是否存在一个显著的回归关系，进行一个假设检验，判定β1的值是否等于0，这需要知道误差项ε的方差的估计值。

误差项ε的方差的估计：ε的方差也是因变量y的值关于回归直线的方差。y的值关于估计的回归直线的离差称为残差，残差平方和SSE是实际观测值关于估计的回归直线变异性的度量。用SSE除自由度得到均方误差MSE，这就是误差项方差的一个估计量。

因为有两个参数b0和b1，所以n-2。

估计的标准误差s等于估计的方差开方。

如果x和y之间存在线性关系，那么β1不等于0，利用样本数据进行检验，原假设为β1=0。

样本统计量b1是随机变量，有自己的抽样分布。

因为标准差未知，故用估计标准差来估计，这里的估计标准差就是上面的s，即误差项的估计标准差。

β1的置信区间是