记>决策树

决策树

决策树的概念：

决策树算法是一种基本的分类与回归方法。在下面举例的两个问题中决策树算法用于分类。

官方课本化点的说辞为：

分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。

用决策树对需要测试的实例进行分类：从根节点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子结点；这时，每一个子结点对应着该特征的一个取值。如此递归地对实例进行测试并分配，直至达到叶结点。最后将实例分配到叶结点的类中。

简单点理解也就是：方法本身如其名，就是不断的决策，就像树一样，会有枝干分叉，不断分叉不断递进直到无法再分叉的叶，叶子就相当于最后的决策类型。最后得出结果。

其他相关：

熵： 熵指的是体系的混乱的程度。

信息论中的熵: 是一种信息的度量方式，表示信息的混乱程度。也就是香农熵。

信息增益： 在划分数据集前后信息发生的变化称为信息增益。

感觉和决策树没有什么关系的几个概念，十分重要。

一些需要在后面找到答案的问题：

１．对于不同的特征如何进行合理的选取，使最后分类结果正确性高？

２．不同特征在不同的分叉点的位置的影响有多大？如果有影响，怎样的放置能使最后分类结果正确性高？

３．决策树算法的核心是什么？

相关实例：

一、判定鱼类和非鱼类

想要处理的问题：

根据两个有关特征，将动物分为两类：鱼类和非鱼类

关于问题的解决：

①数据的收集：

dataSet = [[1, 1, 'yes'],
               [1, 1, 'yes'],
               [1, 0, 'no'],
               [0, 1, 'no'],
               [0, 1, 'no']]
labels = ['no surfacing', 'flippers']
#已知的五组数据以及两个特征

②树构造算法（这里使用的是ID3算法，因此数值型