决策树方法小结

最新推荐文章于 2025-05-21 13:12:49 发布

于建民

最新推荐文章于 2025-05-21 13:12:49 发布

阅读量1w

点赞数 3

CC 4.0 BY-SA版权

分类专栏：技术博客文章标签：决策树数据挖掘机器学习模式识别信息论

本文链接：https://blog.csdn.net/yujianmin1990/article/details/47406037

本文总结了常见的决策树模型，包括ID3、C4.5、CART、CHAID和RandomForest，介绍了各自的基础知识和关键点，如熵、信息增益、信息增益率和Gini指数，并探讨了决策树在数据挖掘和机器学习中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

决策树

　　决策树是常见且强大的分类器，简单地解释为，if-then判断规则组成的形如树状的预测模型。
　　我在这里总结了几种常见决策树模型（不做过多原理解释，只总结方法），ID3（多叉树），C4.5（多叉树），C5.0（多叉树），CART（二叉树），CHAID（多叉树），RandomForest（二叉树群）。其生成树的思想大同小异，区别在于属性选择指标和树的形式。

基础知识

　　几个基础概念需要了解，熵，信息增益，信息增益率，Gini指数等。
　　熵：
　　物理意义 - - 描述了物质的混乱程度。
　　数学定义 - - $Entropy = -\sum_{i}P_{i}*\ln P_{i}$
　　其中， $P_{i}$ 表示 $y=i$ 的样本的比例（概率）。
　　信息增益：
　　物理意义 - - 用于衡量属性F降低样本集合S混乱程度多少。
　　数学定义 - -
　　G(S,F)=Entropy(S)−∑j|Sj||S|∗En