机器学习实战笔记--决策树

---

本文为《机器学习实战》学习笔记

---

1. 决策树简介

决策树可以从数据集合汇总提取一系列的规则，创建规则的过程就是机器学习的过程。在构造决策树的过程中，不断选取特征划分数据集，直到具有相同类型的数据均在数据子集内。

1.1 划分数据集

由于不同属性的数据类型不同，其对应的测试条件也不同。即非叶子节点的每条出边代表的含义不同。
二元属性产生两个可能的输出。
标称属性具有多个属性值。可以根据属性值的数量产生多路划分，每个出边代表一个属性值；对于只产生二元划分的算法（CART），可以创建k个属性值二元划分的所有$2^{(k-1)}-1$种划分方法。
序数属性在保证序数属性值有序性的同时，可以产生二元或多路划分。
连续属性可以通过比较测试进行二元划分，必须考虑所有可能的划分点；也可以设定范围区间多路划分，必须考虑所有可能的连续区间。

划分数据集的最大原则是把无序数据变得有序。可以使用信息论量化度量信息的内容。
如果待分类的事务可能划分在多个分类中，则符号$x_i$的信息定义为：

$$l(x_i) = -log_2p(x_i)$$
其中 $p(x_i)$是选择该分类的概率。
集合信息的度量方式有多种，用于度量数据集的不纯性，值越大表示数据集越混乱，混合的数据越多。
其中 香农熵（熵）定义为信息的期望值。计算熵时，需要计算所有类别所有可能值包含的信息期望值：

H=−∑i=1Np(xi)log2p(xi)