一元线性回归

1. 模型建立

$$\{\begin{array}{c}y={\beta }_0+{\beta }_{1}x+\epsilon \\ E\epsilon =0,D\epsilon ={\sigma }^2\end{array}$$

$$Y={\beta }_0+{\beta }_{1}x$$

2. 参数估计

① 连续形式最小二乘法（OLS）

$$\widehat{{\beta }_1}=\frac{n\sum Y_i{X}_i-\sum Y_i\sum X_i}{n\sum X_i^2-(\sum X_i{)}^2}$$

$$\widehat{{\beta }_0}=\bar{Y}-\widehat{{\beta }_1}\bar{X}$$

② 离散形式最小二乘法

$$\widehat{{\beta }_1}=\frac{\sum x_i{y}_i}{\sum x_i^2}$$

$$\widehat{{\beta }_0}=\bar{Y}-\widehat{{\beta }_1}\bar{X}$$

$${\hat{\delta }}_e^2=\frac{\sum e_i^2}{n-2}$$

残差：$e_i=Y_i-{\hat{Y}}_i$

原理
$$Q=\sum _{i=1}^n(Y_i-{\hat{Y}}_i{)}^2$$
Q越小，误差越小

3. 模型检验

显著性水平：总体参数落在某一区间可能犯错的概率。

$<0.05$

$H_0假设：{\beta }_1=0$

KaTeX parse error: Undefined control sequence: \eq at position 15: H_1假设：\beta_1 \̲e̲q̲

① $F$ 检验

适用情况：

$$U=\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2$$

$$Q_e=\sum _{i=0}^n(y_i-\widehat{y_i}{)}^2$$

$$F=\frac{U}{Q_e/(n-2)}$$

• 若$F>F(1,n-2)$，则拒绝$H_0$。即回归方程通过检验。

② $t$ 检验

适用情况

• 样本数量小于30
• 总体方差未知

$$L_{xx}=\sum _{i=1}^n(x_i-\bar{x}{)}^2=\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2$$

$${\sigma }_e^2=\frac{Q_e}{n-2}$$

$$T=\frac{\sqrt{L_{xx}}\widehat{{\beta }_1}}{{\hat{\sigma }}_e}$$

• 若$|T|>t_{1-\frac{\alpha }{2}}(n-2)$，则拒绝$H_0$。即回归方程通过检验。

③ $r$ 检验

适用情况

• 若$|r|>r_{1-\alpha }$，则拒绝$H_0$。即回归方程通过检验。

4. 预测/控制

置信区间

$[{\hat{y}}_0-\delta (x_0),{\hat{y}}_0+\delta (x_0)]$

$$\delta (x_0)=\widehat{{\sigma }_e}{t}_{1-\frac{\alpha }{2}}$$

*5. 一元非线性回归的线性化