【转自】基于clementine的数据挖掘
clementine上的特征选择:
1. 从变量自身考察:重要的变量应该是携带信息较多,也就是变量值差异较大的变量【这个用统计上来表示,就是标准差、变异系数之类】so ,clementine的参考标准是
(1)数值型变量变异系数小于某阀值,则该变量视为不重要变量
(2)数值型变量标差小于某阀值,则该变量不重要
(3)分类型变量若某类别值的个数大于某阀值,则该变量不重要
(4)分类型变量若类别值的数量大于某阀值,则该变量不重要
2. 从输入变量和输出变量相关性角度考虑
就是计算 pearson相关系数,方差分析,卡方检验,分别对应2变量类型 为数值×类别
而重要性 不是相关系数的大小,而是相关系数的t检验的1-p值的大小,1-p的值越大,那么相关系数表示的相关性值越可靠,这个输入变量越重要;同理,方差分析,卡方检验,也是通过比较1-F值得到的p的值,越大表示该变量越重要