线性回归模型

例子：基于广告数据理解线性回归模型

Advertising：sales（Y）、TV、radio、newspaper

• 销售额与广告预算之间是否有关系
• 相关性的强度
• 哪一种媒介对销售额的贡献最大
• 媒介对销售额影响估计的精确度
• 未来销售额预测的精确度
• 该关系是否是线性相关的
• 广告媒介是否有协同作用
  

  ---

简单的线性回归模型

定义线性回归模型：

$$Y \approx \beta_0 +\beta_1 X$$
$\beta_0和\beta_1称为总体参数$
$\hat\beta_0和\hat\beta_1$为模型参数，通过训练集学习产生
估计得回归方程： $$\hat Y = \hat\beta_0 +\hat\beta_1 X$$

参数估计

拟合方法：least squares fit

$$SSE = e_1^2 + e_2^2 + ... +e_n^2$$ $$e_i^2 = (y_i - \hat y_i)^2$$
目标：SSE（误差平方和）最小化
解：
$$\hat\beta_1= \frac{\sum_1^n(x_i-\overline{x})(y_i-\overline{y})} {\sum_1^n(x_i-\overline{x})}$$ $$\hat\beta_0=\overline y - \hat\beta_1 \overline x$$

---

参数估计评价-模型的假定

确定假定的模型是否合理：要对变量之间的关系的显著性进行检验。

X和Y真正的关系为：$Y = f(X)+\epsilon$.$f$是某个未知的函数，$\epsilon$是个均值为零的随机错误项。回归分析中的显著性检验是以对误差项$\epsilon$的下列假设为依据和进行的：
1. $E(\epsilon) = 0$,意味着$\beta_0;\beta_1$都是常数
2. 对于所有的x值，$\epsilon$的方差相同，用$\sigma_2$表示
3. $\epsilon$相对独立
4. 误差项$\epsilon$是一个正态分布的随机变量

假设$\epsilon$与X独立.评价总回归线与最小二乘线之间的差别.相当于标准统计学中利用样本预测总体的方法。样本均值与总体均值不同，但通常样本均值对总体均值提供了一个较好的估计。同理，$\beta_0和\beta_1$在现实中是未知的，我们试图利用$\hat\beta_0和\hat\beta_1$来估计。

通过计算$\hat\beta_0和\hat\beta_1$的标准差来评价与真实参数的距离：

$$SE(\hat\beta_0)^2=\sigma^2[\frac {1}{n} + \frac {\overline x^2} {\sum_1^n(x_i-\overline x)^2}]$$ $$SE(\hat\beta_1)^2 = \frac {\sigma^2} {\sum_1^n (x_i-\overline x)^2}$$ $$\sigma^2 = Var(\epsilon)$$
通常， $\sigma^2$是 $\epsilon$的方差，从回归模型和它的假设中可以得出结论： $\sigma^2$也是因变量y关于回归直线的方差，SSE是实际观测值关于估计得回归直线变异性的度量，用SSE除以它的自由度，得到均方误差。均方误差给出了 $\sigma^2$的一个估计量（每个平方和都有一个与之相关联的数，这个数叫做自由度，为了计算SSE，必须估计两个参数 $\beta_0 ;\beta_1$，所以SSE的自由度是n-2） $$s=\sqrt {MSE} = \sqrt {SSE/(n-2)}$$
MSE是均方误差，s为估计得标准误差
95%置信区间： $$[\hat\beta_1-2SE(\hat\beta_1),\hat\beta_1+SE(\hat\beta_1)]$$
通过 $SE(\hat\beta_1)$还能够进行假设检验，计算出p值和t值，进一步评估参数估计得准确性。 $$t = \frac{\hat\beta_1-0} {SE(\hat\beta_1)}$$

---

##评价模型的精确度

$$MSE$$
$$R^2=\frac {SSR}{SST}$$
$R^2$称为判定系数，理解为总平方和中能被估计得回归方程解释的百分比
$$SST = \sum(y_i-\overline y )$$
TSS表示利用均值来估计所产生的离差平方和，称为总的平方和
$$SSR = \sum(\hat y_i - \overline y)^2$$
SSR 称为回归平方和，用于度量 $\hat y 和 \overline y$之间的偏离程度
$$SST = SSR + SSE$$
利用三个平方和能够给出回归方程一个拟合优度的度量

---

###多元线性回归

$$Y \approx \beta_0 +\beta_1 X_1+...\beta_n X_n$$