Linear Regression(Chapter 6)[@XiruChen]

Outlines

• Data, Model and Assumptions
• Parameter estimation
• Important statistics and distribution
• Multivariate linear regression

Data, Model and Assumptions

Data

$n$ observations: $(X_1,Y_1),(X_2,Y_2),...,(X_n,Y_n)$.
把$X_i$看做是非随机的来建模

Model

$E[Y|X_1,...,X_p]=f(X_1,...,X_p);Y = f(X_1,...,X_p)+e$
Model is :

$$Y_i = b_0+b_1X_i +e_i;$$
$$e_i \sim N(0,\sigma^2).$$
中心化：
$Y_i = \beta_0 +\beta_1(X_i-\bar{X})+e_i$

Assumption

$X$与$Y$是线性关系。

Parameter estimation

参数估计方法：最小二乘法.最小二乘时寻找残差平方和达到最小的参数值，不需要残差$e_i$服从正态分布这个条件。
$Q(\alpha_0,\alpha_1) = \sum_{i=1}^n (Y_i - \hat{Y}_i)^2= \sum_{i=1}^n [Y_i - \alpha_0-\alpha_1(X_i - \bar{X})]^2;$
$(\hat{\beta}_0,\hat{\beta}_1) = argmax_{(\alpha_0,\alpha_1)} Q(\alpha_0,\alpha_1);$
得到：
$\hat{\beta}_0 = \bar{Y};$
$\hat{\alpha_1} = \frac{\sum_i (X_i - \bar{X})Y_i}{\sum_i (X_i - \bar{X})^2}$

记$S_x^2 = \sum_i (X_i - \bar{X})^2;$

Rk:

1. $\hat{\beta}_0,\hat{\beta}_1$是$\beta_0,\beta_1$的无偏估计；
2. 当残差服从正态分布时，是最小方差无偏估计；

Important statistics and distribution

定义残差$\delta_i = Y_i -\hat{Y}_i,i=1,...,n$,那么

• 当模型正确时，残差平方和可用于提供误差方差$\sigma^2$的一个无偏估计：
  $$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \delta_i^2$$
• $\delta_i$ 还可以用于回归诊断/模型诊断。应该是均值为0，无趋势的分布情况；

Key distribution

1. $\frac{\sum_i \delta_i^2}{\sigma^2} \sim \chi^2_{n-2};$
2. $\frac{(\hat{\beta}_1-\beta_1)}{\hat{\sigma}S_x^{-1}} \sim t_{n-2}$
   
   • 可以用于检验$H_0: \beta_1 = c$这个问题；

Multivariate linear regression

---

References: