本文介绍了C4.5决策树算法中使用信息增益来选择特征的原因。信息熵作为衡量分类不确定性的指标，信息增益大的属性能更有效地减少数据的熵，增强分类确定性。然而，连续值属性可能导致过大的信息增益，造成决策树过于庞大。C4.5通过信息增益率解决了这个问题，避免了对取值较多属性的偏好。
要理解信息增益，首先要明白熵是什么，开始很不理解熵，其实本质来看熵是一个度量值，这个值的大小能够很好的解释一些问题。
从二分类问题来看，可以看到，信息熵越是小的，说明分类越是偏斜（明确），可以理解为信息熵就是为了消除分类不确定性的，决策树本就是根据一个个问题的答案去尽可能明确的找出规律去告诉别人这条数据的类别，如果说类被均匀的分到两边，相当于你问别人，明天会小雨吗，别人告诉你可能会下可能不会小，这对你的判断并没有屌用。在后面子分支属性的选择中，一个属性的信息增益越大，表明属性对样本的熵减少的能力更强，这个属性使得数据由不确定性变成确定性的能力越强。
但所以如果是取值更多的属性，比如顾客ID这种连续值属性，基本一个ID一条数据，更容易使得数据更“纯”（尤其是连续型数值），其信息增益更大，决策树会首先挑选这个属性作为树的顶点。结果训练出来的形状是一棵庞大且深度很浅的树，这样的划分是极为不合理的。
所以C4.5使用了信息增益率，在信息增益的基础上除了一项split information,来惩罚值更多的属性。
Gainratio=δSplitInfo
最低0.47元/天 解锁文章
扫一扫
5365
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
