特征离散化（三） 之 最小熵分箱
最小熵分箱在很多关于分箱的博客中都有提及，但很少有文章着重介绍该算法。因此，单独写篇博客记录一下对该算法的理解。
1. 信息增益
大部分博客中提到最小熵分箱时，都是一笔带过的。见得最多的莫不是如下这个解释，解释的如此简洁也是没谁了。不过了解决策树的小伙伴，应该还是能够从字里行间找到一些似曾相识的字眼。
为了充分理解这短短的两句话，首先我们要了解一些基本的概念。
- 熵 H(X)： 表示随机变量不确定性的度量（高中物理有讲过的），也叫经验熵。
假设X是一个有限个值的离散随机变量，其概率分布为 P ( X = x i ) = p i P(X=x_i) = p_i P(X=xi)=pi，则随机变量X的熵定义为
H ( X ) = − ∑ i = 1 n p i ∗ l o g p i H(X)=-\sum_{i=1}^n p_i * logp_i H(X)=−∑i=1npi∗logpi
熵越大，随机变量的不确定性就越大 - 条件熵 H(Y|X)：表示在已知随机变量X的条件下随机变量Y的不确定性。
H ( Y ∣ X ) = ∑ i = 1 n p i ∗ H ( Y ∣ X = x i ) H(Y|X) = \sum_{i=1}^n p_i*H(Y|X=x_i) H(Y∣X)=∑i=1
最低0.47元/天 解锁文章
4704
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
