决策树特征选择算法介绍

1.目的：为了让模型的不确定性降低的越快越好

2.三个过程：特征选择、决策树的生成、决策树的剪枝
（1）特征选择：
信息熵：随机变量不确定性的度量
H(X)=?∑ni=1pilogpiH(X)=?∑i=1npilogpi
信息增益：（ID3算法），得知特征X的信息而使类Y的信息的不确定减少的程度
g(D,A)=H(D)?H(D|A)g(D,A)=H(D)?H(D|A)
information gain作为划分训练数据集的特征，存在偏向于选择取值较多的特征问题。
（对于取值多的属性如连续型数值，这个单独的属性就可以划分所有的样本，使得所有分支下的样本集合都是“纯的”，最极端的情况是每个叶子节点只有一个样本。这样的划分是极为不合理的。）
信息增益率：（C4.5算法），在信息增益的基础上除了一项split information,来惩罚值更多的属性。
gR(D,A)=g(D,A)HA(D)gR(D,A)=g(D,A)HA(D)
GINI指数：（CART算法）
Gini(D)=1?∑Kk=1p2kGini(D)=1?∑k=1Kpk2

（2）决策树的生成
递归选择最优特征（信息增益、信息增益比最大，GINI最小）
递归停止条件：
a. 当前结点包含的样本全部属于同一个类别，无需划分
b.当前的属性集为空，或是所有样本在所有属性上的取值相同，无法划分（小于或者大于某个阈值）
c.当前结点包含