ML—线性回归系列（二）—基础统计

华电北风吹
天津大学认知计算与应用重点实验室
日期：2015/11/25

线性回归是统计学里面一个非常重要的部分，在本系列的第二部分主要总结一些线性回归的统计学指标。并且不定期更新。

一、统计学名词
样本与系列第一篇表示一样表示为$(x^{(i)},y^{(i)})$，模型对于$x^{(i)}$的预测值为$\hat y^{(i)}=\hat\theta^T x^{(i)}$，所有样本的$y^{(i)}$的均值表示为$\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$.
下面来看三个度量指标
1、总离差平方和
$SST=\sum_{i=1}^{m}{(y^{(i)}-\overline{y})^2}$
2、误差平方和(残差平方和)
$SSE=\sum_{i=1}^{m}{(y^{(i)}-\hat y^{(i)})^2}$
3、回归平方和
$SSR=\sum_{i=1}^{m}{(\hat y^{(i)}-\overline{y})^2}$
并且对于这三个指标有
$SST=SSE+SSR$

二、线性回归显著性指标
1、复相关系数
$R^2=\frac{SSR}{SST}=1-\frac{SST}{SST}$
很显然R值范围为[0,1]，并且R越接近与1，说明线性关系越强。
2、F检验
$F=\frac{SSR/n-1}{SSE/m-n}$服从$F(n-1,m-n)$分布，因此可以使用F检验来判断回归显著性。