统计学：回归分析

统计模型

统计学要学好，其他的才有的搞。

前言

最近在做信号处理，其中遇到各种小问题，深深地发现自己的统计学知识不够用，于是开始了知识补习之路，但光学没有用，要学以致用，因此写下本系列稿子，造福大家，方便自己。

1回归分析绪论

---

常用的变量可分为两类：确定性变量，随机变量

确定性变量：两个或多个变量之间有确定的关系，即其中某个变量的每个值，都与某一变量的一个或确定的关系,即其中某个变量的每个值，都与某一变量的一个或几个确定的值相对应，即它们之间存在着函数关系：
$y=f(x)$
随机变量：变量对应的不是一个或几个确定的值，而是整个集合的值。这时，变量x和y间的关系，就称为相关关系。
回归分析是一种处理相关关系的数理统计方法，用它可以寻找隐蔽在随机性后面的统计规律性。

---

2线性回归

线性回归是回归分析里一种常用的方法，也是最简易的方法，本次主讲回归分析：

2.1一元线性回归

一元线性回归处理的是两个变量之间的线性关系：
$y=\alpha +\beta x$
对模型参数的估计就是根据原始实验数据：
$(x_0,y_0),(x_1,y_1),...,(x_n$ $_-$$_1$$,y_n$ -$_1)$

确定$\alpha 和\beta$的估计值。
在实际体系中，可能自变量x与因变量y并不服从线性关系，但可以转化为线性关系处理：
$f_2(x,y)=\alpha +\beta f_1(x,y)$
其中,$f_1,f_2是不含待定系数的已知函数。$
任一实验点$(x_i,y_i)$可能没有恰好落在直线上，误差$\delta_i$:
$\delta_i=y_i-\alpha-\beta x_i (i=0,1,...,n-1)$
误差$\delta_i$反映了$x_i,y_i$这组实验数采集时各种影响因素的总和。

要寻找一条最靠近各个数据点的直线——回归直线，最小二乘法即是残差的平方和最小，残差平方和Q为：
$Q=\quad\sum_{i=0}^{n-1}{\delta_i^2}$
求解的matlab实现可以参照我那一篇帖子：
matlab最小二乘法

——————————

公式求解：
定义：

$\overline x=\frac{1}{n}*\quad\sum_{i=0}^{n-1}{x_i}$ $\overline y=\frac{1}{n}*\quad\sum_{i=0}^{n-1}{y_i}$

$\overline x,\overline y 分别是x_i 和y_i的平均值$

$x_i 和 \overline x的偏差（x_i-\overline x）称为x_i的离差$。

---

OLS的F检验

误差与测量有关，误差大小可以衡量测量的准确性，误差越大表示测量越不准确。误差分为两类：系统误差与随机误差。其中，系统误差与测量方案有关，通过改进测量方案可以减小系统误差。随机误差与观测者，测量工具，被观测物体的性质有关，只能尽量减小，却不能避免。
残差――与预测有关，残差大小可以衡量预测的准确性。残差越大表示预测越不准确。残差与数据本身的分布特性，回归方程的选择有关。
随机误差项Ut反映除自变量外其他各种微小因素对因变量的影响。它是Y t 与未知的总体回归线之间的纵向距离，是不可直接观测的。
残差e t 是Yt 与按照回归方程计算的Yt 的差额，它是Yt 与样本回归线之间的纵向距离，当根据样本观测值拟合出样本回归线之后，可以计算et 的具体数值。利用残差可以对随机误差项的方差进行估计。

随机误差是方程假设的，而残差是原值与拟合值的差。实践中人们经常用残差去估计这个随机误差项。残差一般只的是在计算近似值过程中某一步与真实值得差值，而误差指的的是最终近似值与真实值得差值。
残差就是回归所得的估计值与真值（实际值）之间的误差；修正的R square就是剔出了数据量影响后的R2。
最小二乘平差通过使观测值的残差的平方和最小方法使观测值纳入模型。这些残差即为最小二乘平差改正数。
F-检验通常称为整体模型检验,因为它从总体上对模型进行了检验。
F值由如下表达式给出：
$F = \frac{s_2} { a_2}$
其中
$s_2$ = 为后验方差因子，取决于计算的残差和多余观测；
$a_2$ = 为先验方差因子。

---

参看文献：
残差检验
最小二乘法与回归分析