特征选择问题

特征选择的方法：数据驱动，领域专家。
数据驱动的特征选择常用方法：相关性，迭代删除（增加），基于模型。
相关性系数：皮尔逊系数，取值范围（-1,1）
迭代特征选择：假设我们已经确定了要用什么算法，如何知道哪个x的自己和作为特征最好
暴力解法：把所有可能的特征组合全部试一遍，用交叉检验来看哪个子集预测效果最好。复杂度：2的n次方
迭代特征选择：递增/递减
基于模型的特征选择算法：
一、随机森林特征选择方法1:gini importance
1，gini index:1-概率的平方和
2，gini decrease：每个节点的gini index-子节点gini index之和
3，gini importance：将所有树上相同特征节点的gini decrease加权和
二、随机森林特征选择方法2：mean decrease accuracy
1，训练出一个随机森林模型，在测试集检验得到accuracy0
2，随机重排（permutation）测试集某特征xi，检验得到accuracyi
3，（accuracy0-accuracyi）accuracy0即为特征 xi 的重要性
三、线性回归特征选择：L1正则化lasso，在L1正则化下，大部分系数会是一个接近0的数字，剩下的绝对值仍很大的系数，对应重要的特征