机器学习实战-决策树

机器学习实战-决策树

一、决策树简介

• k-近邻算法可以完成很多分类任务，但是它最大的缺点就是无法给出数据的内在含义，决策树的主要优势就在于数据形式非常容易理解。

下面是决策树的一般形式：

决策树可以使用不熟悉的数据集合， 并从中提取出一系列规则，机器学习算法最终将使用这些机器从数据集中创造的规则。

决策树：

• 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
• 缺点：可能会产生过度匹配问题。
• 适用数据类型：数值型和标称型。

二、构造决策树

在构造决策树时，我们需要解决的第一个问题就是，当前数据集上哪个特征在划分数据分类时起决定性作用。为了找到决定性的特征，划分出最好的结果，我们必须评估每个特征。

创建分支的伪代码函数createBranch如下所示：

检测数据集中的每个子项是否属于同一分类：
    If so return 类标签;
    Else
        寻找划分数据集的最好特征
        划分数据集
        创建分支节点
            for每个划分的子集
                调用函数createBranch并增加返回结果到分支节点中
        return 分支节点

上面的伪代码createBranch是一个递归函数，在倒数第二行直接调用了它自己。后面我们
将把上面的伪代码转换为python代码，这里我们需要进一步了解算法是如何划分数据集的.

决策树的一般流程

1. 收集数据：可以使用任何方法。

2. 准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。

3. 分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。

4. 训练算法：构造树的数据结构。

5. 测试算法：使用经验树计算错误率。

6. 使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据
   的内在含义。

信息増益

划分数据集的大原则是：将无序的数据变得更加有序。我们可以使用多种方法划分数据集，
但是每种方法都有各自的优缺点。组织杂乱无章数据的一种方法就是使用信息论度量信息， 信息论是量化处理信息的分支科学。我们可以在划分数据之前使用信息论量化度量信息的内容。

在划分数据集之前之后信息发