线性回归的检验

2019独角兽企业重金招聘Python工程师标准>>>

 在一元线性回归和多元线性回归中常常需要进行线性显著性检验（F检验）和系数相关性检验（t检验）。

 通过对数据进行分析得出数据服从下面公式：

 多元线性回归预测模型一般公式为：

　　

    式中：

     ：因变量；

　　x1,x2……：两个不同自变量，即与因变量有紧密联系的影响因素。

　　a,b1,b2……：是线性回归方程的参数。

 通过回归分析预测得出模型需要两个检验。

 一、F检验

 F检验又叫方差齐性检验。在两样本t检验中要用到F检验。

 从两研究总体中随机抽取样本，要对这两个样本进行比较的时候，首先要判断两总体方差是否相同，即方差齐性。若两总体方差相等，则直接用t检验，若不等，可采用t检验或变量变换或秩和检验等方法。

 其中要判断两总体方差是否相等，就可以用F检验。

 回归平方和SSR表示Y估计值与平均值之差的平方和，其自由度为自变量个数p；残差平方和SSE表示Y的实际观测值与估计值之差的平方和，其自由度为观察次数n与自变量个数p之差减1，即使n-p-1。

 回归方程线性是否显著：

       原假设H0：b1=b2=b3=……=0

       备择假设H1：b1、b2、b3……至少有一个不为0。

 F=(SSR/p)/[SSE/(n-p-1)]

 F服从分子p个自由度、分母n-p-1个自由度的F分布。

 若F<=Fα,表明SSR比较小，估计值与平均值比较接近，说明各自变量系数在（1-α）的置信度内服从原假设；如果F>Fα，则放弃原假设，有（1-α）的置信度选择备择假设，证明至少一个系数不为0，回归方程是线性显著的。

 二、t检验

 系数bi的估计值与其标准差的商服从t分布。

        T=（bi估计值）/（bi估计值的标准差）

 根据大数定律，bi估计值服从正态分布，其标准差是多个正态分布的平方和除以次数，故服从t分布.

      原假设：bi=0

      备择假设：bi不为0

 如果bi=0,则bi估计值与实际值0之差越小，越能相信原假设，反之则相信备择假设。

 则如果T>Tα，则相信备择假设，有（1-α）置信度相信该系数不为0；如果T<=Tα，则说明该系数为0，该自变量不能影响因变量Y。

参考：http://blog.sina.com.cn/s/blog_5c2cfefb0100ej3p.html

转载于:https://my.oschina.net/u/1161889/blog/1528981