线性回归中模型选择的几个度量指标。
1,R square统计量:度量回归模型的方差可解释部分。注意,只有往模型里面增加特征,就能够增加R square 统计量。
2,F统计量:测试回归模型的整体显著性。如果F统计量较大,就可以拒绝所有系数为0的空假设。
3,adjusted R square 统计量。对增加了R square 惩罚,当模型中特征较多时,做一个惩罚。
4,Cp统计量:假定总共有K个特征。用其中的p个特征拟合模型,如果这p个特征足够解释这个模型,那么Cp统计量的值应该为p+1,如果这p个统计量不能解释这个模型,那么Cp应该大于p+1(一般是远大于)。所以可以用这个策略来拟合模型:令p=1……K,分别计算每个模型的Cp值,在p个特征的模型中,我们选择具有较小Cp值的模型。注意,当p=K时,Cp的值等于K+1。一般来说,我们尽量选择使得Cp近似于p+1的模型。
5,残差图。横坐标为拟合值,纵坐标为预测值,可以通过残差图来看拟合是否均匀。也可以通过直方图来看。
局部线性回归的要点
1,局部线性回归核函数的选择。有Epanechnikov函数,高斯函数,矩形函数等。
2,拟合窗口h的选择。h控制着拟合光滑的程度,一般来说,最好是让h随着x的变化而变化。比如最近邻选择(窗口的大小一定要包含K个点)
3,generalized cross validation。来验证局部线性回归的误差率。画一个GCV与df的对比图,选择GCV最小的那个df作为参数。
4,Cp统计量。画一个Cp和自由度对比的图,使Cp约等于自由度的最大的窗口作为选择的窗口h
多重检验的要点。
1,假定我们有100个特征,其中只有5个特征真正的与响应变量相关,95个特征无关。假定显著性水平为0.05。在做一组假设检验的时候,这95个特征中出现显著性水平大于0.05的特征的概率超过50%,因此有必要修改现有的测量方法以降低这种犯错误的概率。
Bonferroni修正差别检验法:调整p值=p/m,其中m表示特征的个数。
下面来介绍另一种方法:
假定有m个特征,m0为无关特征的个数,m-m0为相关特征的个数。V为假阳性个数,T为假阴性个数,U为真阴性个数。
其中R是能观察到的随机变量,而VSUT都是看不到的随机变量。
我们希望错误发现率(false discovery rate,FDA)——E(V/R)不能太高,就是V的个数越低越好。
令alpha为FDA,我们针对每一个特征做t检验,得到m个p值。然后对p排序,找到一个最大的k,满足p<(k/m)alpha。这个K对应的p值就是我们想要的显著性水平。
上述检验是假定特征之间不相干的,相关特征的检验由benjamini和yekutieli于2001年提出。读者可找相应问现场参考之。