决策树中的信息增益和信息增益比的理解

1.信息熵表明样本集的不确定程度，信息熵越大，越难分类。

1)对类别y在样本集上求信息熵，表示样本集中类别y的不确定度，类别越多，信息熵越大，不确定度越高。
2)对属性A在样本集上求信息熵，表示样本集中属性A的不确定度，属性越多，信息熵越高，不确定度越高。

2.信息增益：
未划分前的样本集的信息熵H(D) – 根据某个特征划分后各个子集的信息熵的和H(D|A)

差值越大，表明该特征越具有分类能力;
存在问题：假设100个样本，某个属性有100个属性值，分布在每个样本中，如果根据该属性值划分样本集，则会划分100个子集，每个子集有1个样本，此时通过该属性划分得到的子集信息熵之和非常小(0),因为只有一个样本的子集的不确定性很低，纯度很高。此时通过该属性划分求得的信息增益会很大。
造成的问题就是，通过信息增益划分，会倾向于选择属性值比较多的特征，因为它得到的信息增益大。

3.信息增益比：
为了解决信息增益偏向于属性值多的特征，因此给信息增益增加一个权重系数。

想法：属性值多，权重系数小；属性值少，权重系数大。
表明属性值多少的表示Ha(D)：对属性A在样本集上求信息熵，属性越多，信息熵Ha(D)越高，不确定度越高。
因此，权重系数取倒数就行，属性值越多，信息熵Ha(D)越大，其倒数越小。

4.C4.5算法:

连续值划分为离散值；
对缺省值的处理：基于权重的样本划分就是让同一个样本以不同的概率分散到不同的子结点中去。