信息增益（information gain)

信息增益（information gain)

信息增益是随机森林算法里面的一个很重要的算法，因为我们在选择节点的特征项的时候，就要通过信息增益或者是信息增益率来选择。这里先理解信息增益。

什么是信息增益呢？信息增益（Kullback–Leibler divergence）又称information divergence，information gain，relative entropy 或者KLIC，其实在有些书中叫做相对熵，但是理解起相对熵的公式比较复杂，让人不能很好的理解。下面我以分类来理解这个算法。

假如我们拥有M个类别标签

C={C1,C2,C3....Cn}

　　

并且拥有N个特征：

T={T1,T2,T3....Tn}

　　

那么对于某一个特征来说，加入特征项Ti是离散的，

 

那么有可以定义为如下的公式：

 

其中H(C)代表的是类别C的信息熵；

 

代表在给定的情况下，求类别属于类别C的条件熵；

以上的公式都比较容易理解，难以理解的就是当特征项的取值不是离散的，而是连续的，这个时候怎么办？如果特征项的连续的，那么我们可以枚举每一种二分类，找到增益最大的哪一种分类。也就是

标注：wi输入法 for 安卓和ios 很不错的输入法，欢迎使用。

http://wi.hit.edu.cn/im

posted on 2013-01-14 20:23 charlezou 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/charleVV/archive/2013/01/14/2860282.html