机器学习特征选择

决策树特征选择：
   信息增益与信息增益比
   基尼系数

 

文本特征选择：

     特征提取方法: one-hot

     TF-IDF

    词袋模型

one-hot优缺点分析
优点：一是解决了分类器不好处理离散数据的问题，二是在一定程度上也起到了扩充特征的作用（上面样本特征数从3扩展到了9）
缺点：在文本特征表示上有些缺点就非常突出了。首先，它是一个词袋模型，不考虑词与词之间的顺序（文本中词的顺序信息也是很重要的）；其次，它假设词与词相互独立（在大多数情况下，词与词是相互影响的）；最后，它得到的特征是离散稀疏的。

TF-IDF优缺点分析
优点：简单快速，结果比较符合实际
缺点：单纯考虑词频，忽略了词与词的位置信息以及词与词之间的相互关系。

 

逻辑回归模型

    IV

   WOE

 

主特征提取：

    皮尔森相关系数

   主成分分析(PCA)

 

其他特征选择
   基于卡方统计量的特征选择
   基于方差分析的特征选择

 

参考文档：

https://www.cnblogs.com/lianyingteng/p/7755545.html

http://www.cnblogs.com/lianyingteng/p/7821256.html