决策树、随机森林补充（一）

决策树、随机森林补充（一）

一.条件熵的推导

条件熵的公式定义很简单：

H(Y|X) = H(X,Y) – H(X)

其中，H(X,Y)代表（X, Y）的联合熵。如果不理解这个，可以联想一下概率论当中的联合概率。条件熵表示：在X发生的前提下,Y发生“新”带来的熵。对于熵这个概念，看过电影《信条》的，大体都会知道，它表示混乱程度，熵越高，代表混乱程度或者不稳定程度越高。也就是说，如果他带来的熵越多，说明他带来的不稳定性就越多。
同时，条件熵还有一个推导公式，在这个公式当中，我们大量运用了熵的公式，如果不知道，看一看前面的决策树，随机森林部分：决策树，随机森林

（公式一）

Note:

• 上述推导式子的第三行，我们只是为了前后统一，然后合并 构造出来了一个关于y的加和，因为在第二行，我们看到这个式子只是关于x的。而包含所有y的情况的（x,y）联合概率相加在一起，不正是p(x)嘛。
• 倒数第二行推导到最后一行，用的是条件概率公式

我们在上一个推导出来的式子的基础上，再做进一步的推导：

Note:

• 从第二行到第三行，我们运用条件概率公式，将p(x,y)进行替换，然后p(x)只是关于x的，和y并没有什么关系，所以到了第四行，把p(x)挪到前面并不影响最后的结果。

二.经验熵、经验条件熵