决策树（理论部分）

最新推荐文章于 2022-11-13 22:58:36 发布

文件输传手助

最新推荐文章于 2022-11-13 22:58:36 发布

阅读量502

点赞数

分类专栏：数据挖掘理论文章标签：数据挖掘

本文链接：https://blog.csdn.net/weixin_43074152/article/details/104196245

版权

决策树是一种用于分类任务的预测模型，基于信息论中的熵概念。本文介绍了决策树的基本概念，包括分类任务、描述性建模和预测性建模。接着，详细讲解了决策树的工作原理，通过一系列属性测试问题来区分不同类别。最后，讨论了Hunt算法，这是一种用于构建决策树的基础算法，通过递归地划分数据集以达到较高的纯度。在构建过程中，选择最佳划分的度量通常基于信息增益，如熵和基尼指数。

摘要由CSDN通过智能技术生成

决策树的理论部分

什么是决策树

什么是决策树

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
这是百度给出的介绍，如果想了解决策树，我们先要了解一些基础概念

分类任务
分类任务就是确定对象属于哪个预先定义的目标类别，这是一个普遍存在的问题有非常多的应用，生活中我们就用得上，例如根据电子邮件标题和内容检查是否是垃圾邮件，通过搜索记录判断用户的男女，这一章我们主要介绍决策树的一些理论。
描述性建模
分类模型可以用作解释性的工具，用于区分不同类中的对象。例如下表