决策树学习之信息增益
信息增益的用处
信息增益（information gain），描述的是一个特征能够为整个系统带来多少信息量（熵，entropy）
信息增益用于特征选择，对一个特征而言，系统有它和没它时信息量将发生变化，而前后信息量的差值就是这个特征给系统带来的信息量。所谓信息量，其实就是熵。
如果一个特征能够为系统带来最大的信息量，则该特征最重要，将会被选作划分数据集的特征
信息增益与熵
熵（entropy）
信息论中的熵的计算公式如下：
H(X)
决策树学习之信息增益
最新推荐文章于 2024-04-19 09:39:59 发布
本文介绍了决策树学习中的信息增益概念，强调其在特征选择中的作用。信息增益通过比较特征存在与不存在时系统的熵变化来衡量特征的重要性。熵作为系统混乱程度的度量，信息增益则表示特征给系统带来的信息量。内容还探讨了信息增益与熵的关系，并通过类比解释了条件熵的计算方法。
最低0.47元/天 解锁文章
扫一扫
2195
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
