决策树 结构_决策树及其基本概念

决策树主要知识：

决策树

决策树：在分类问题中，表示基于特征对实例进行分类的过程。

决策树可以认为是1.if-then规则的集合；2.定义在特征空间与类空间上的条件概率分布。

决策树优点：模型具有可读性，分类速度快。

决策树学习与预测过程

决策树：分类决策树描述对实例进行分类的树形结构。由结点（node=节点）和有向边(directed edge)组成。结点：内部结点(internal node)-表示一个特征或属性;叶结点(leaf node)-一个类。

决策树模型（圆：内部结点；方框：叶结点）

用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子结点；这时，每一个子结点对应着该特征的一个取值。重复。最后将实例分到叶结点的类中。

if-then规则：由决策树的根节点到叶节点的每一条路径构建一条规则；路径上内部节点的特征对应着规则的条件，而叶节点的类对应着规则的结论。

if-then规则的性质：互斥并且完备。每一个实例当且仅当被一条路径覆盖。（覆盖：实例的特征与路径的特征一致或实例满足规则的条件）

决策树与条件概率分布：

决策树表示为给定特征条件下类的条件概率分布。将特征空间划分partition为互不相交的单元cell或区域region，并在每个单元定义一个类的概率分布就构成了一个条件概率分布。

决策树的一条路径对应于划分中的一个单元。

决策树表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。

假设X：特征的随机变量，Y：类的随机变量；条件概率分布：P(Y|X).

X取值于给定划分下单元的集合，Y取值于类的集合。

各叶节点（类）上的条件概率往往偏向于某一个类，即属于某一类的概率较大。

决策树分类时将该节点的实例强行分到条件概率大的那一类去。

决策树对应与条件概率分布

大正方形：特征空间。每个小矩阵表示一个单元。Y取值+1，-1。小矩阵中数字表示单元的类。（b）特征空间划分确定时，单元给定条件下类的条件概率密度。（c）对应的决策树