一、信息熵
熵：对平均不确定性的度量：
互信息：指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：
其中，H(X, Y) 是联合熵(Joint Entropy)，其定义为：
平均互信息：得知特征Y的信息而使得对标签X的信息的不确定性减少的程度。\
熵与互信息的关系：
<
本文介绍了决策树的学习算法，包括信息熵、信息增益、ID3、C4.5和CART。接着讨论了剪枝、Bagging与随机森林，解释了它们如何改善决策树的泛化能力和稳定性。随机森林通过随机选择样本和属性构建多棵决策树，通过投票机制提高分类效果。
最低0.47元/天 解锁文章
扫一扫
3227
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
