条件熵的定义

最大熵模型中使用条件熵作为模型基础，决策树算法中利用经验条件熵作为计算信息增益的基础。当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵和条件熵分别成为经验熵和经验条件熵。维基百科中也有对条件熵的定义和相关公式的描述。

李航统计学习方法中最大熵模型的定义为：

决策树求信息增益时的经验条件熵的定义为：

可以看得出条件熵和经验条件熵公式是一样的，只是概率来源不同。