一：信息论基础
1.熵
熵是用来衡量一个系统混论程度的物理量，代表一个系统中蕴含多少信息量，信息量越大表明一个系统不确定性就越大，就存在越多的可能性。
熵（entropy）就用来衡量整个系统的总体信息量，其计算公式如下
2.联合熵
将一维随机变量分布推广到多维随机变量分布，则其联合熵 ：
3.条件熵
条件熵 H(Y|X)H(Y|X) 表示在已知随机变量 XX 的条件下随机变量 YY 的不确定性。条件熵 H(Y|X)H(Y|X) 定义为 XX 给定条件下 YY 的条件概率分布的熵对 XX 的数学期望：
4 信息增益
信息增益在决策树算法中是用来选择特征的指标，信息增益越大，则这个特征的选择性越好，在概率中定义为：待分类的集合的熵和选定某个特征的条件熵之差（这里只的是经验熵或经验条件熵，由于真正的熵并不知道，是根据样本计算出来的），公式如下：
练习3习题
最新推荐文章于 2023-07-20 15:01:20 发布
本文详细介绍了信息论的基础概念，包括熵、联合熵、条件熵和信息增益，并探讨了它们在决策树算法中的应用，如ID3、C4.5和CART。此外，还讨论了决策树的过拟合问题以及防止过拟合的预剪枝和后剪枝策略。
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
