4.13决策树

1.定义

        决策树(Decision Tree)是一种基本的分类和回归算法。该算法模型呈树形结构，主要由结点和有向边组成。结点又分为两种类型：内部结点和叶子结点。内部结点表示在一个属性或特征上的测试，每一个结点分枝代表一个测试输出，每一个叶子结点代表一个类别。决策树学习是以实例为基础的归纳学习

2.概念

        决策树就是一棵树，一颗决策树包含一个根节点、若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集，从根结点到每个叶子结点的路径对应了一个判定测试序列

3.特点

    （1）决策树是一种构建分类模型的非参数方法。换句话说，它不要求任何先验假设，不假定类和其他属性服从一定的概率分布。

      （2）已开发的构建决策树技术不需要昂贵的计算代价，即使训练集非常大，也可以快速建立模型。此外，决策树一旦建立，未知样本分类非常快，最坏情况下的时间复杂度是O(w), w为树的最大深度。

（3） 决策树相对容易解释，特别是小型的决策树。在很多简单的数据集上，决策树的准确率可以与其他分类算法相媲美。
                                  
4.公式 

（1）熵：熵是表示随机变量不确定性的度量。 随机变量的熵值越大则越不稳定。其公式如下：