【python与机器学习入门2】决策树1——决策树概念和子模块

最新推荐文章于 2024-07-11 09:58:56 发布

momottyy

最新推荐文章于 2024-07-11 09:58:56 发布

阅读量717

点赞数

分类专栏：机器学习 python

本文链接：https://blog.csdn.net/maotianyi941005/article/details/82221833

版权

本文详细介绍了决策树的概念、流程和构建决策树的关键步骤，包括信息熵、信息增益的计算和数据集划分。通过示例和伪代码解释了如何使用信息增益选择最优特征，并提供了数据集划分的完整Python代码。

摘要由CSDN通过智能技术生成

参考博客：决策树基础篇之让我们从相亲说起（po主Jack-Cui,《——大部分内容转载自

信息熵与ID3算法参考（po主青松愉快，《——信息增益内容参考

机器学习实战（三）——决策树(po主呆呆的猫，《——信息增益内容参考

参考书籍：《机器学习实战》——第三章

摘要：本章介绍了决策树算法概念和构建决策树所需的所有子模块，介绍了熵、信息增益的公式和代码，使用一个贷款demo介绍划分数据集并给出了完整代码和测试结果。下一章介绍如何构建决策树。

一决策树

1 概念介绍

决策树（decision tree）是一种基本的分类与回归方法。以下讲的是分类决策树。

用《机器学习实战》——第三章的例子来说，一个简单的邮件分类流程如下，包含判断模块（矩形）、终止模块（椭圆）、分支（左右箭头）,到达终止模块后停止运行并得到分类。

用比较术语的说法是：

分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点有两种类型：内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性，叶结点表示一个类。

我们可以把决策树看成一个if-then规则的集合，将决策树转换成if-then规则的过程是这样的：由决策树的根结点(root node)到叶结点(leaf node)的每一条路径构建一条规则；路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论。决策树的路径或其对应的if-then规则集合具有一个重要的性质：互斥并且完备。这就是说，每一个实例都被一条路径或一条规则所覆盖，而且只被一条路径或一条规则所覆盖。这里所覆盖是指实例的特征与路径上的特征一致或实例满足规则的条件。

2 流程

使用决策树做预测需要以下过程：

决策树构建这一过程可以概括为3个步骤：特征选择、决策树的生成和决策树的修剪。

收集数据：可以使用任何方法得到一些供我们利用的数据。

准备数据：收集完的数据，我们要进行整理，将这些所有收集的信息按照一定规则整理出来，并排版，方便我们进行后续处理。

分析数据：可以使用任何方法，决策树构造完成之后，我们可以检查决策树图形是否符合预期。

训练算法：这个过程也就是构造决策树，同样也可以说是决策树学习，就是构造一个决策树的数据结构。

测试算法：使用经验树计算错误率。当错误率达到了可接收范围，这个决策树就可以投放使用了。

使用算法：此步骤可以使用适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。