机器学习实战——决策树

目录

一.算法简介

二.构造决策树

1.信息增益

2.信息增益率

3.基尼系数

三.在Python中使用Matplotlib注解绘制树形图

1.Matplotlib注解

2.构造注解树

四.决策树预测隐形眼镜类型

---

一.算法简介

        决策树是什么？决策树(decision tree)是一种基本的分类与回归方法。决策树由结点和有向边组成。结点有两种类型：内部结点和叶节点。内部节点表示一个特征或属性，叶节点表示一个类。

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
缺点：可能会产生过度匹配问题。
适用数据类型：数值型和标称型。

决策树分类的思想类似于找对象，如下对话：

---

1. 女儿：多大年纪了？
2. 母亲：26。
3. 女儿：长的帅不帅？
4. 母亲：挺帅的。
5. 女儿：收入高不？
6. 母亲：不算很高，中等情况。
7. 女儿：是公务员不？
8. 母亲：是，在税务局上班呢。
9. 女儿：那好，我去见见。

---

        女孩的挑剔过程就是一个典型的决策树，即相当于通过年龄、长相、收入和是否公务员将男生分为两个类别：见和不见。假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员，那么使用下图就能很好地表示女孩的决策逻辑（即一颗决策树）。

二.构造决策树

        在构造决策树时，我们需要解决的第一个问题就是，当前数据集上哪个特征在划分数据分类时起决定性作用。为了找到决定性的特征，划分出最好的结果，我们必须评估每个特征。完成测试后，原始数据就被划分为几个数据子集。这些数据子集会分布在第一个决策点的所有分支上。如果某个分支下的数据属于同一类型，则到这里以及正确地划分数据分类，无序进一步对数据集进行分割。如果数据子集内的数据不属于同一类型，则需要重复划分数据子集的过程。如何划分数据子集的算法和划分原始数据集的方法相同，直到所有具有相同类型的数据均在一个数据子集内。

决策树的一般流程
(1) 收集数据：可以使用任何方法。
(2) 准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。
(3) 分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。
(4) 训练算法：构造树的数据结构。
(5) 测试算法：使用经验树计算错误率。
(6) 使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。

1.信息增益

先对一个节点的纯度进行定义，我们将其称之为信息熵：

其中代表当前节点D的数据中第k类样本所占的比例。

观察该信息熵的定义，有以下几个特点：

由于都属于[0,1]，Ent(D)必定为正值，值越大说明纯度越低
Ent(D)在k=1，=1时取值最小值0，在  时取值最大值
信息熵是一个节点的固有性质，和该节点选取什么属性进行下一步的划分无关
在定义了信息熵之后，对信息增益进行定义，假设选取属性a有V个取值，，按照决策树的规则，D将被划分为V个不同的节点数据集，代表其中第v个节点：

•  第一线Ent(D)是确定的，和选取的属性a无关，我们可以将之看为定值
• 表示分支节点所占的比例大小，显然数据集越大的分支节点权重越高
• 分支节点整体纯度越大，则后一项越小，信息增益Gain变得越大，所以我们的目标是如何最大化信息增益

信息增益python代码实现：

'''
Parameters:
    dataSet - 数据集
Returns:
    shannonEnt - 返回计算给定数据集的香农熵
'''
def calcShannonEnt(dataSet):
    # 返回数据集的行数
    numEntries = len(dataSet