［每日问答］特征选择有哪些方法？

Filter：过滤式，先对数据集进行特征选择，然后再训练学习器。
（1）方差选择法
使用方差选择法，先要计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征。
（2）相关系数法
使用相关系数法，先要计算各个特征对目标值的相关系数以及相关系数的P值。
（3）卡方检验
经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值，因变量有M种取值，考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距，构建统计量。
（4）互信息
经典的互信息也是评价定性自变量对定性因变量的相关性的。

Wrapper：包裹式，把最终要使用的学习器性能作为特征子集的评价准则。
（1）递归特征消除法
递归消除特征法使用一个基模型来进行多轮训练，每轮训练后，消除若干权值系数的特征，再基于新的特征集进行下一轮训练。

Embedded：嵌入式，再学习器训练的过程中自动的进行特征选择。
（1）使用L1,L2正则化项
L1正则化项使解更为稀疏，L2正则化项使解更为平滑。L1惩罚项降维的原理在于保留多个对目标值具有同等相关性的特征中的一个，所以没选到的特征不代表不重要。可结合L2惩罚项来优化。具体操作为：若一个特征在L1中的权值为1，选择在L2中权值差别不大且在L1中权值为0的特征构成同类集合，将这一集合中的特征平分L1中的权值。


参考文献
1.https://www.zhihu.com/question/28641663
2.周志华老师的机器学习