特征离散化(三) 之 最小熵分箱
最小熵分箱在很多关于分箱的博客中都有提及,但很少有文章着重介绍该算法。因此,单独写篇博客记录一下对该算法的理解。
1. 信息增益
大部分博客中提到最小熵分箱时,都是一笔带过的。见得最多的莫不是如下这个解释,解释的如此简洁也是没谁了。不过了解决策树的小伙伴,应该还是能够从字里行间找到一些似曾相识的字眼。
为了充分理解这短短的两句话,首先我们要了解一些基本的概念。
- 熵 H(X): 表示随机变量不确定性的度量(高中物理有讲过的),也叫经验熵。
假设X是一个有限个值的离散随机变量,其概率分布为 P ( X = x i ) = p i P(X=x_i) = p_i P(X=xi)=pi,则随机变量X的熵定义为
H ( X ) = − ∑ i = 1 n p i ∗ l o g p i H(X)=-\sum_{i=1}^n p_i * logp_i H(X)=−∑i=1npi∗logpi
熵越大,随机变量的不确定性就越大 - 条件熵 H(Y|X):表示在已知随机变量X的条件下随机变量Y的不确定性。
H ( Y ∣ X ) = ∑ i = 1 n p i ∗ H ( Y ∣ X = x i ) H(Y|X) = \sum_{i=1}^n p_i*H(Y|X=x_i) H(Y∣X)=∑