Mtalab统计信息处理的一些原理

回归分析

---

一元线性回归分析

基本定义

假设随机变量y和变量x之间服从以下线性关系
$y=\alpha+\beta x+\varepsilon$

现存在n个值
$y_{i}=\alpha+\beta x_{i}+\varepsilon_{i}$

假设$\varepsilon_{i}$相互独立而且满足
$\varepsilon_{i}$~$N(0,\sigma^2),i=1,...,n,$
则称变量y和x服从一元线性回归模型（或一元线性正态回归模型）

---

---

未知参数估计

---

（1）$(\alpha,\beta)的最小二乘估计$

偏微分最小估计

$\sum_{i=1}^n(y_{i}-\overset{\frown} {\alpha}-\overset{\frown} {\beta}x_{i})^2=\max\limits_{\alpha,\beta}(y_{i}-\alpha-\beta x_{i})^2$

对左边求偏导，得到

$\overset{\frown} {\alpha}= \overline{y}-\overset{\frown} {\beta}\overline{x}$，
$\overset{\frown} {\beta}=\dfrac{\sum_{i=1}^n(x_{i}-\overline{x})(y_{i}-\overline{y})}{\sum_{i=1}^n(x_{i}-\overline{x})^2}$

---

---

（2)$(\alpha,\beta)的极大似然估计$

由于$y_{i}相互独立， 且y_{i}$ ~$N(\alpha+\beta x_{i},\sigma^2)$
则联合概率密度为
$L= \prod_{i=1}^N \frac{1}{\sigma \sqrt{2\pi}}exp[- \frac{1}{2\sigma^2}(y_{i}-\alpha-\beta x_{i})^2]$
=(1σ2π√)nexp[−12σ2∑ni=1